【RDMA】infiniband网卡安装|ib网卡命令|ibdump 用法说明

1. 基础知识

2. 驱动安装

3.配置IP

4. 性能测试

5. 其他问题

RDMA 、InfiniBand、IB卡、IB驱动的关系

ibdump 用法说明

原文：https://www.cnblogs.com/sctb/p/13179542.html

最近多次安装、使用infiniband网卡，每次都要到处寻找相关资料，所以决定做此总结，方便查找。

1. 基础知识

首先，得了解什么是RDMA，贴几个资料：

深入浅出全面解析RDMA

RDMA技术详解(一)：RDMA概述

RDMA技术详解(二)：RDMA Send Receive操作

然后得了解如何实现，这两个可以有个初步了解：

RDMA编程：事件通知机制

RDMA read and write with IB verbs

编程过程，真正有用的还是官方的手册：

RDMA Aware Networks Programming User Manual

mellanox官方社区能找到很多你需要的东西：

https://community.mellanox.com/s/

也下了个中文版，但我感觉英文版看着更好。中文版下载：

百度云: https://pan.baidu.com/s/1BkbinPMy6fwN7J5BPFadDw 提取码: rm8i

蓝奏云：https://wwa.lanzous.com/iXUd6jm7qla 密码: 4aps

RDMA编程入门可参考的项目：

https://github.com/tarickb/the-geek-in-the-corner

https://github.com/jcxue/RDMA-Tutorial

2. 驱动安装

下载驱动，进入网站选择相应系统和软件版本，archive versions这里可以下载旧版本驱动

http://www.mellanox.com/page/software_overview_ib

ubuntu16.04平台5.0-2.1.8.0的下载链接为：

wget http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso

版本5.1之后链接细微变化，ubuntu18.04平台5.1-2.5.8.0的下载链接为：

wget https://www.mellanox.com/downloads/ofed/MLNX_OFED-5.1-2.5.8.0/MLNX_OFED_LINUX-5.1-2.5.8.0-ubuntu18.04-x86_64.iso

其它平台和版本的驱动，可以自己修改。
挂载或解压，如果下载的iso则挂载，若是tgz就解压，下面是挂载命令：

sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
安装

cd /mnt sudo ./mlnxofedinstall

可能会提示你安装一堆东西，复制，安装就可以了。

安装成功截图：
执行以下命令：

sudo /etc/init.d/openibd restart sudo /etc/init.d/opensmd restart
查看网卡状态：

sudo hca_self_test.ofed

没有 failed 就对了。

一些其它查看网卡信息的命令：

ibstat ibstatus ibv_devinfo ibv_devices #查看本主机的infiniband设备 ibnodes #查看网络中的infiniband设备

3.配置IP

自己的实践

service network status 查看活动状态

重启：

ifdown enp61s0f0 关闭网卡

ifup enp61s0f0 开启网卡

ethtool enp61s0f0 查看当前状态

vim /etc/sysconfig/network-scripts/ifcfg-enp61s0f0

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=noBOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp61s0f0
UUID=e95aa0ab-7fab-47ab-8536-de06f982807a
DEVICE=enp61s0f0ONBOOT=yesIPADDR=182.200.31.59
NETMASK=255.255.255.0

重启：

ifdown enp61s0f0 关闭网卡

ifup enp61s0f0 开启网卡

ubuntu执行：

sudo vim /etc/network/interfaces

在文件中添加如下内容：

auto enp1s0 iface enp1s0 inet static address 172.16.0.104 netmask 255.255.255.0 broadcast 172.16.0.255

enp1s0是网卡名称，通过ifconfig查看，address是要给infiniband网卡配置的ip地址。

重启网络服务：

sudo service networking restart
centos执行：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0

添加如下内容：

DEVICE=ib0 BOOTPROTO=static IPADDR=172.16.0.104 NETMASK=255.255.255.0 BROADCAST=172.16.0.255 NETWORK=172.16.0.0 ONBOOT=yes

重启网口：

sudo ifdown ib0 sudo ifup ib0

4. 性能测试

服务端运行：

ib_send_bw -a -c UD -d mlx4_0 -i 1

注意，参数 -i 指定端口，在一个网卡有多个网口的时候，需要指定测试的端口，具体哪个端口，通过 ibstatus 可以看到。
客户端运行：

ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102

最后面的ip地址是服务端infiniband网卡的ip地址。
1. 其他测试项
  
  ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_lat
  
  bw表示测试带宽，lat表示测试延迟，参数同上，可以i通过 --help 查看。

其他测试工具说明：https://community.mellanox.com/s/topic/0TO50000000g1zZGAQ/infinibandroce-tools?tabset-dea0d=2

测试工具源码：https://github.com/linux-rdma/perftest

5. 其他问题

更换网卡工作模式：

有些网卡，当你安装好驱动后，通过 ibstatus 命令，会出现下面的情况：

可以看到，该网卡现在处于 Ethernet 的工作模式，如果想要切换成infiniband模式，参考如下链接：

https://community.mellanox.com/s/article/howto-change-port-type-in-mellanox-connectx-3-adapter

查看当前工作模式：

sudo /sbin/connectx_port_config -s

输入以下命令切换工作模式：

sudo /sbin/connectx_port_config

如果提示如图，说明不支持infiniband模式，否则，就切换成功了，再次使用一下命令可以验证：

sudo /sbin/connectx_port_config -s

不能切换到infiniband工作模式，并不代表不支持RDMA，处于Ethernet模式的网卡使用 RoCE 协议工作。

RDMA 协议：底层可以是以太网( RoCE 或者 iWARP )或者 Infiniband

有些网卡只支持Ethernet(RoCE)，不支持Infiniband模式，也就是想从Ethernet切换到Infiniband模式时不能成功，这个要提前了解好。我目前了解到的，Connectx-3只支持Ethernet模式。

https://community.mellanox.com/s/question/0D51T00006RVtsz/connectx4-says-it-doesnt-support-linktypep1-configuration

RDMA 、InfiniBand、IB卡、IB驱动的关系

1、RDMA 是一种技术(远程直接内存访问技术)，如何实现这种技术呢？

2、实现这种技术你可以选择用 Infiniband 协议。(当然你也可以使用其他协议，eg：roce、iwarp)

3、如果你使用 Infiniband 协议，这个协议作为一个新一代网络协议。它必须依靠专门的硬件才能实现。eg：专用INC(网卡)—— IB卡，或者专用交换机。

4、当你在服务器上安装了IB卡之后，你还得安装 IB驱动，才能使用 infiniband 。
原文链接：https://blog.csdn.net/ljlfather/article/details/102930714

ibdump 用法说明

[root @ rdma64 ibdump-master]＃ibdump -h
ibdump-dump Mellanox Technologies ConnectX 网卡的 Infiniband 数据包
可以生成文件给Wireshark进行图形流量分析

用法：
ibdump [选项]

选项：
-d，--ib-dev = <dev>使用IB设备<dev>(找到默认的第一个设备)
-i， --ib-port = <端口>使用IB设备的端口<端口>(默认1)
-w，-write = <文件> 结果保存到文件(默认为“ sniffer.pcap”)
“-”代表标准输出-启用管道传输到tcpdump或tshark。
-o，--output = <文件>是-w选项的别名。不使用-为了向后兼容
-b，--max-burst = <log2突发> log2的最大突发大小
捕获而没有数据包丢失。
每个条目占用〜MTU字节的内存(默认12-4096个条目)
-s，-silent不打印进度指示。
-T，--conti使用连续页面。
-M，--mem-mode <大小>(指定时)，仅在抓包动作停止后才将包写入文件，它比默认模式快(丢包更少)
，但占用更多内存。在这种模式下，ibdump在捕获<size>个字节后停止
-p，--writer-thread <大小>使用特定线程将数据写入磁盘。为了使用此功能，您必须指定
两个临时缓冲区的大小，用于保存数据给线程写入磁盘

--decap 解封装端口镜像的headers。用于捕获RSPAN流量时需要启用。
-h，--help显示此帮助屏幕。
-v，--version打印版本信息。

用法：https://community.mellanox.com/s/article/MLNX2-117-2647kn

[root@tuki1 ~]# ibdump -d mlx5_0 -i 1

其他文章《Infiniband的驱动安装与配置》：https://blog.csdn.net/oPrinceme/article/details/51001849