Q-Logic IB6054601-00 D Manuel D’Utilisation

InfiniPath User Guide

IB6054601-00 D

Page vii

InfiniPath User Guide

Version 2.0

3.11

Debugging MPI Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-20

3.11.1

MPI Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-20

3.11.2

Using Debuggers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-20

3.12

InfiniPath MPI Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-21

Appendix A

Benchmark Programs

A.1

Benchmark 1: Measuring MPI Latency Between Two Nodes . . . . . . . . .

A-1

A.2

Benchmark 2: Measuring MPI Bandwidth Between Two Nodes . . . . . . .

A-2

A.3

Benchmark 3: Messaging Rate Microbenchmarks . . . . . . . . . . . . . . . . .

A-3

A.4

Benchmark 4: Measuring MPI Latency in Host Rings . . . . . . . . . . . . . . .

A-5

Appendix B

Integration with a Batch Queuing System

B.1

A Batch Queuing Script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

B-1

B.1.1

Allocating Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

B-1

B.1.2

Generating the mpihosts File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

B-2

B.1.3

Simple Process Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

B-3

B.1.4

Clean Termination of MPI Processes . . . . . . . . . . . . . . . . . . . . . . . . . .

B-3

B.2

Lock Enough Memory on Nodes When Using SLURM . . . . . . . . . . . . . .

B-4

Appendix C

Troubleshooting

C.1

Troubleshooting InfiniPath Adapter Installation . . . . . . . . . . . . . . . . . . . .

C-1

C.1.1

Mechanical and Electrical Considerations . . . . . . . . . . . . . . . . . . . . . .

C-1

C.1.2

Some HTX Motherboards May Need 2 or More CPUs in Use . . . . . . .

C-2

C.2

BIOS Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-2

C.2.1

MTRR Mapping and Write Combining . . . . . . . . . . . . . . . . . . . . . . . . .

C-3

C.2.2

Incorrect MTRR Mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-3

C.2.3

Incorrect MTRR Mapping Causes Unexpected Low Bandwidth . . . . .

C-4

C.2.4

Change Setting for Mapping Memory . . . . . . . . . . . . . . . . . . . . . . . . .

C-4

C.2.5

Issue with SuperMicro H8DCE-HTe and QHT7040 . . . . . . . . . . . . . . .

C-4

C.3

Software Installation Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-5

C.3.1

OpenFabrics Dependencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-5

C.3.2

Install Warning with RHEL4U2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-5

C.3.3

mpirun

Installation Requires 32-bit Support . . . . . . . . . . . . . . . . . . . .

C-5

C.3.4

Installing Newer Drivers from Other Distributions . . . . . . . . . . . . . . . .

C-6

C.3.5

Installing for Your Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-7

C.4

Kernel and Initialization Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-7

C.4.1

Kernel Needs CONFIG_PCI_MSI=y . . . . . . . . . . . . . . . . . . . . . . . . . .

C-8

C.4.2

pci_msi_quirk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-8

C.4.3

Driver Load Fails Due to Unsupported Kernel . . . . . . . . . . . . . . . . . . .

C-9

C.4.4

InfiniPath Interrupts Not Working . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

C-9