文章目录

一、环境与安装包
二、IB网卡驱动安装
- 2.1 解压驱动包
- 2.2 安装
- 2.3 配置IP
- 2.4 启动服务
- 2.5 IB网卡驱动卸载
三、Infiniband连接性带宽测试
- 3.1 查询IB设备信息
- 3.2 测试连接性
- 3.3 测试带宽
- 3.4 测试网络延迟

一、环境与安装包

Node0:
操作系统：Ubuntu 16.04STL
IP设置： 10.0.0.1
Node1:
操作系统：Ubuntu 16.04STL
IP设置： 10.0.0.2
IB网卡驱动下载：https://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers

二、IB网卡驱动安装

2.1 解压驱动包

tar -zxvf MLNX_OFED_LINUX-4.7-1.0.0.1-ubuntu16.04-x86_64.tgz

2.2 安装

./mlnxofedinstall      # 安装程序会检查系统库，如果缺少库会直接提示使用yum install ‘缺少的库’安装，根据提示安装即可，-q参数静默安装

2.3 配置IP

点击右上角"有线连接"–>“编辑连接”—>“增加”—>“选择infiniband”—》“新建”
注意：如下图我的设置Ipv4”方法“设置为“手动”，然后配置好ip，网关和子网掩码

2.4 启动服务

sudo /etc/init.d/openibd restart # 安装完成后重启主机，[在这里插入图片描述](https://img-blog.csdnimg.cn/20191016174746221.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjgxOTQ1Mg==,size_16,color_FFFFFF,t_70)

ifconfig -a    #使用ifconfig -a或者ip a就可以看到ib0,ib1...等名字的IB网卡了!

2.5 IB网卡驱动卸载

进入上面解压得到的文件夹内，运行卸载脚本，即运行下面两条命令。

cd MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64

sudo ./uninstall.sh  #卸载完成后重启

三、Infiniband连接性带宽测试

3.1 查询IB设备信息

ibv_devices #显示系统中目前所有设备

ibv_devinfo -d mlx4_0    #查看设备具体信息

3.2 测试连接性

使用简单的 ping 程序，比如 infiniband-diags 软件包中的 ibping 测试 RDMA 连接性。ibping（需要root权限）程序采用客户端/服务器模式。必须首先在一台机器中启动 ibping 服务器，然后再另一台机器中将 ibping 作为客户端运行，并让它与 ibping 服务器相连。
Server端

sudo ibping -S -C mlx4_0 -P 1      #无任何输出

-S：以服务器端运行
-C：是CA,来自ibstat的输出
-P：端口号,来自ibstat的输出

Client端

sudo ibping -c 10000 -f -C mlx4_0 -P 1 -L 2

-c：发送10000个packet之后停止.
-f：flood destination
-C：是CA,来自ibstat的输出
-P：端口号,来自服务器端运行ibping命令时指定的-P 参数值.
-L：Base lid,来自服务器端运行ibping命令时指定的端口(-P 参数值)的base lid(参考ibstat)，具体要查看服务端的Base lid，我这里是2。

3.3 测试带宽

一、查看两台服务器的IB卡状态

ibstat #输出ib卡的信息

二、两台服务器重启IB服务

sudo /etc/init.d/openibd restart #重启IB服务

三、两台服务器开启子网管理器

sudo /etc/init.d/opensmd start #开启子网管理器

四、第一台执行

ib_write_bw

五、第二台执行

ib_write_bw 对端的IP地址 #我这里是ib_write_bw 10.0.0.2

下图是我的写带宽

六、这里测试的写带宽，如果要测试读带宽把write改成read就可以了。

3.4 测试网络延迟

延迟的测试和带宽的测试差不多，只不过在命令上有点不同只要把bw 改成lat 就行了。
一、第一台执行

ib_write_lat /ib_read_lat

二、第二台执行

ib_write_lat 对端IP地址 / ib_read_lat 对端IP地址。

IB网卡驱动安装以及Infiniband连接带宽测试相关推荐

ib网卡命令_IB网卡驱动安装以及Infiniband连接带宽测试
文章目录一.环境与安装包二.IB网卡驱动安装 2.1 解压驱动包 2.2 安装 2.3 配置IP 2.4 启动服务 2.5 IB网卡驱动卸载三.Infiniband连接性带宽测试 3.1 查询I ...
linux的ib网卡驱动安装,linux安装IB驱动方法
一.准备 1.Linux操作系统7.6(根据实际情况变更,此处用redhat7.6系统举例) 2.驱动:MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz(根 ...
华为服务器网卡驱动安装文件,服务器网卡驱动
服务器网卡驱动内容精选换一换 Ubuntu服务器通过Windows操作系统上的虚拟机安装的场景下,需要在Windows操作系统上安装USB网卡驱动,即RNDIS(Remote Network Dr ...
Linux服务器网卡驱动安装及故障排除(转)
Linux服务器网卡驱动安装及故障排除(转) 转自:http://www.ccw.com.cn/server/yyjq/htm2005/20050817_15OF4.htm感谢原创作者曹江华 Lin ...
联想服务器id显示感叹号,网卡驱动安装后显示感叹号
相关文章: 故障现象: 网卡驱动安装后显示感叹号,如图: 原因分析: 网卡驱动安装后显示有感叹号故障绝大部分仍是驱动安装错误导致,可通过重新下载并安装官网提供驱动或者通过第三方软件更新解决,亦或通过彻 ...
Linux下xl710网卡驱动,CentOS 6.x 系统安装+网卡驱动安装（Realtek PCIe GBE Family Controller for Linux）...
GNU/Linux的安装过程中实际上已经安装了很多可用的网卡驱动,但这一款:Realtek PCIe GBE Family Controller的驱动却没有. 而我的台式机:惠普 HP Pro 338 ...
Linux下网卡驱动安装及故障排除
Linux下网卡驱动安装及故障排除赛迪网 2007-4-26 9:10:00文/forgiven 网卡是Linux服务器中最重要网络设备.据统计,Linux网络故障有35%在物理层.25%在数据链路 ...
华为服务器网卡驱动安装文件夹,服务器网卡驱动安装
服务器网卡驱动安装内容精选换一换华为云帮助中心,为用户提供产品简介.价格说明.购买指南.用户指南.API参考.最佳实践.常见问题.视频帮助等技术文档,帮助您快速上手使用华为云服务. 华为云帮助中 ...
linux 查看网卡损坏,Linux服务器网卡驱动安装及故障排除
Linux服务器网卡驱动安装及故障排除网卡是Linux服务器中最重要网络设备.据统计,Linux网络故障有35%在物理层.25%在数据链路层.10%在网络层.10%在传输层.10%在对话.7%在表示 ...
ubuntu18.04网卡驱动安装（联想(Lenovo)GeekPro 2022）
在联想GeekPro 2022上安装了ubuntu18.04系统,GeekPro 2022上的有线网卡和无线网卡都是realtek的,其中无线无线网卡的型号为RTL8852BE.安装好系统后,发现并没 ...

IB网卡驱动安装以及Infiniband连接带宽测试