/docs/MyDocs

To get this branch, use:
bzr branch http://darksoft.org/webbzr/docs/MyDocs

« back to all changes in this revision

Viewing changes to Administration/Server/Network/infiniband/bonding.txt

  • Committer: Suren A. Chilingaryan
  • Date: 2017-04-03 02:45:17 UTC
  • Revision ID: csa@suren.me-20170403024517-dwzj0z0k1cmhxm7u
Restructuring, OpenShift, Ansible, Git

Show diffs side-by-side

added added

removed removed

Lines of Context:
Administration/Server/Network/infiniband/bonding.txt
 
1
 - Using Linux bonding driver (indepedent IB partitions):
 
2
    * According to some outdated docs, only backup mode is supported. 
 
3
    * Backup mode configuration (works fine)
 
4
        ifconfig ib0 down
 
5
        ifconfig ib1 down
 
6
        modprobe bonding mode=active-bacup miimon=100 downdelay=200 updelay=200
 
7
        echo "+ib0" > /sys/class/net/bond0/bonding/slaves
 
8
        echo "+ib1" > /sys/class/net/bond0/bonding/slaves
 
9
        ifconfig bond0 <ip> netmask 255.255.255.0
 
10
    * Link aggregation mode is not working... I.e. you can configure it with
 
11
        modprobe bonding mode=balance-rr miimon=100 downdelay=200 updelay=200
 
12
    but 75% packets are lost. With balance-alb it is even not possible to 
 
13
    add ib devices as slaves. Actual as OpenSuSE 12.2 (kernel 3.4), OFED stack
 
14
    1.5.4.1
 
15
 
 
16
 - With IB router in between:
 
17
    * One opensm is enough and all 4 ports (2 + 2) are visible. However, no 
 
18
    automatic speed increase. And in first place, the router in between 
 
19
    decreases port speed from 4.6 GB/s to 3.7 GB/s (I guess it is just old 
 
20
    router with per-port performance slower than on our new cards). Anyway,
 
21
    may be some tricky configuration is possible, but I have not found 
 
22
    anything worth trying...
 
23
    * The balance-rr mode starts to work without packet loss. However, no 
 
24
    performance increase.
 
25
 
 
26
 - Still we get from 4.6 GB/s to 5.5 GB/s if sending data using two ports
 
27
 independently. So, should be not really difficult to use in apps. For 
 
28
 MPI we may just register two nodes per host.