/docs/MyDocs

Installation

============

 1. Infiniband is included in official kernels, since 3.2. For OpenSuSE 12.1 

 upgrade is required:

    zypper ar http://download.opensuse.org/repositories/Kernel:/HEAD/standard/Kernel:HEAD.repo

  - It may need to disable VT-d to use CUDA. Add "iommu=soft" to kernel options in grub

  - The following modules should be loaded: mlx4_core, mlx4_ib, mlx4_en, ib_umad, rdma_ucm, ib_ipoib, ib_sdp

 2. SDP module is deprecated and unsupported (but there is patches from me as temporary solution)

  - SDP allows transparent executin of TCP applications just by preloading libsdp.so

    LD_PRELOAD="/usr/lib64/lidsdp.so" ./tcp_application

 3. OFED stack may be installed from OpenSuSE repository or tarball in Linux/Cluster

    zypper ar http://download.opensuse.org/repositories/OFED:/Factory/openSUSE_11.3/

 

Configurtion

============

 1. One of the node, should run opensm daemon, to enable full speed communication

 and ipoib, the following line should be added to the /etc/opensm/partitions.conf 

    Default=0x7fff,ipoib,rate=7,sl=0 : ALL=full ;

 2. If multichannel link to be configured (multiple ports on card or multiple cards)

 and the channels are independent (point to point connection or connected through 

 different switches), an opensm instance should be launched for each port.

    opensm -g 0x0002c903009f7431 --daemon

    opensm -g 0x0002c903009f7432 --daemon

 The -g specified an ID of port for the instance. Partition configuration may stay

 the same.

 3. It is possible to preload libsdp.so with all applications and limit the range 

 of IP addresses for which SDP protocol should be used, /etc/libsdp.conf

    use both server * 192.168.11.0/24:*

    use both client * 192.168.11.0/24:*

 4. It is possible to set a name to simplify service discovery

    echo <system_name> >  /sys/class/infiniband/mlx4_0/node_desc

 

Diagnostic

==========

 Port information: ibstat

 Hardware graph: iblinkinfo

 Network Diagnostic: ibdiagnet -ls 10 -lw 4x

 Ping: ibping -S ; ibping <Baselid_of_server_reported_by_ibstat> 

 

Optimizations

=============

 1. IPoIB may run in datagram (default) or connected modes. The datagram mode 

 seems to be faster (despite in internet it is supposed otherwise). Send the

 proper string to:

    /sys/class/net/ib0/mode

 

 

Benchmarks

==========

 OFED: rdma_bw, rdma_lat, ib_read_bw, ib_write_bw, ib_send_bw, ib_read_lat, ib_write_lat, ib_send_lat 

 Server: rdma_bw, Client: rdma_bw <ip> 

 - Frequency throttling should be disabled 

    for name in /sys/devices/system/cpu/cpu[0-9]*; do echo "performance" > $name/cpufreq/scaling_governor; done

 

 mpi-selector --system --set mvapich2_gcc-1.7

 NetPipe: make; make mpi

 Server: ./NPtcp, Client: ./NPtcp -h <server_ip> 

 mpich 2: mpirun -machinefile hostlist -np 2 ./NPmpi 

 - hostlist should contain local and remote Infiniband IP addresses 

 - NPmpi application should be on both systems in the same location (SSH used to connect & run) 

 

 Expected performance:

    rdma: 3227 MB/s (1.49 us latency)

    rdma over optical link: 3064 MB/s (1.77 us)

    mvapich 1.7: 3146 MB/s (1.83 us)

    SDP: 2060 MB/s (5.79 us)

    TCP: 996 MB/s (14.6 us)

    SCTP: slower than TCP

 

 

Applications

============

 SRP: Support for the SCSI RDMA Protocol (SRP) Target driver. The SRP protocol 

 is a protocol that allows an initiator to access a block storage device on 

 another host (target) over a network that supports the RDMA protocol (Linux 3.3)