Infiniband网卡安装、使用总结
最近多次安装、使用infiniband网卡,每次都要到处寻找相关资料,所以决定做此总结,方便查找。
1. 基础知识
首先,得了解什么是RDMA,贴几个资料:
深入浅出全面解析RDMA
RDMA技术详解(一):RDMA概述
RDMA技术详解(二):RDMA Send Receive操作
然后得了解如何实现,这两个可以有个初步了解:
RDMA编程:事件通知机制
RDMA read and write with IB verbs
编程过程,真正有用的还是官方的手册:
RDMA Aware Networks Programming User Manual
mellanox官方社区能找到很多你需要的东西:
https://community.mellanox.com/s/
也下了个中文版,但我感觉英文版看着更好。中文版下载:
百度云: https://pan.baidu.com/s/1BkbinPMy6fwN7J5BPFadDw 提取码: rm8i
蓝奏云:https://wwa.lanzous.com/iXUd6jm7qla 密码: 4aps
RDMA编程入门可参考的项目:
https://github.com/tarickb/the-geek-in-the-corner
https://github.com/jcxue/RDMA-Tutorial
2. 驱动安装
下载驱动,进入网站选择相应系统和软件版本,archive versions这里可以下载旧版本驱动
http://www.mellanox.com/page/software_overview_ib
ubuntu16.04平台5.0-2.1.8.0的下载链接为:
wget http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso
版本5.1之后链接细微变化,ubuntu18.04平台5.1-2.5.8.0的下载链接为:
wget https://www.mellanox.com/downloads/ofed/MLNX_OFED-5.1-2.5.8.0/MLNX_OFED_LINUX-5.1-2.5.8.0-ubuntu18.04-x86_64.iso
其它平台和版本的驱动,可以自己修改。
挂载或解压,如果下载的iso则挂载,若是tgz就解压,下面是挂载命令:
sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
安装
cd /mnt sudo ./mlnxofedinstall
可能会提示你安装一堆东西,复制,安装就可以了。
安装成功截图:
执行以下命令:
sudo /etc/init.d/openibd restart sudo /etc/init.d/opensmd restart
查看网卡状态:
sudo hca_self_test.ofed
没有 failed 就对了。
一些其它查看网卡信息的命令:
ibstat ibstatus ibv_devinfo ibv_devices #查看本主机的infiniband设备 ibnodes #查看网络中的infiniband设备
配置ip
ubuntu执行:
sudo vim /etc/network/interfaces
在文件中添加如下内容:
auto enp1s0 iface enp1s0 inet static address 172.16.0.104 netmask 255.255.255.0 broadcast 172.16.0.255
enp1s0是网卡名称,通过ifconfig查看,address是要给infiniband网卡配置的ip地址。
重启网络服务:
sudo service networking restart
centos执行:
sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0
添加如下内容:
DEVICE=ib0 BOOTPROTO=static IPADDR=172.16.0.104 NETMASK=255.255.255.0 BROADCAST=172.16.0.255 NETWORK=172.16.0.0 ONBOOT=yes
重启网口:
sudo ifdown ib0 sudo ifup ib0
3. 性能测试
服务端运行:
ib_send_bw -a -c UD -d mlx4_0 -i 1
注意,参数 -i 指定端口,在一个网卡有多个网口的时候,需要指定测试的端口,具体哪个端口,通过 ibstatus 可以看到。
客户端运行:
ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102
最后面的ip地址是服务端infiniband网卡的ip地址。
其他测试项
ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_lat
bw表示测试带宽,lat表示测试延迟,参数同上,可以i通过 --help 查看。
4. 其他问题
更换网卡工作模式:
有些网卡,当你安装好驱动后,通过 ibstatus 命令,会出现下面的情况:
可以看到,该网卡现在处于 Ethernet 的工作模式,如果想要切换成infiniband模式,参考如下链接:
https://community.mellanox.com/s/article/howto-change-port-type-in-mellanox-connectx-3-adapter
查看当前工作模式:
sudo /sbin/connectx_port_config -s
输入以下命令切换工作模式:
sudo /sbin/connectx_port_config
如果提示如图,说明不支持infiniband模式,否则,就切换成功了,再次使用一下命令可以验证:
sudo /sbin/connectx_port_config -s
不能切换到infiniband工作模式,并不代表不支持RDMA,处于Ethernet模式的网卡使用 RoCE 协议工作。
RDMA 协议:底层可以是以太网( RoCE 或者 iWARP )或者 Infiniband
有些网卡只支持Ethernet(RoCE),不支持Infiniband模式,也就是想从Ethernet切换到Infiniband模式时不能成功,这个要提前了解好。我目前了解到的,Connectx-3只支持Ethernet模式。
https://community.mellanox.com/s/question/0D51T00006RVtsz/connectx4-says-it-doesnt-support-linktypep1-configuration
Infiniband网卡安装、使用总结相关推荐
- 【RDMA】infiniband网卡安装|InfiniBand 连接和状态诊断工具|测试RDMA网卡是否正常工作...
目录 1. 基础知识 一.诊断工具--翻译中 2. 驱动安装 3.配置IP 4. 性能测试 5. 其他问题 RDMA .InfiniBand.IB卡.IB驱动的关系 问题记录 原文:infiniban ...
- 【RDMA】infiniband网卡安装|ib网卡命令|ibdump 用法说明
目录 1. 基础知识 2. 驱动安装 3.配置IP 4. 性能测试 5. 其他问题 RDMA .InfiniBand.IB卡.IB驱动的关系 ibdump 用法说明 原文:https://www.cn ...
- ib网卡命令_infiniband网卡安装、使用总结
最近多次安装.使用infiniband网卡,每次都要到处寻找相关资料,所以决定做此总结,方便查找. 1. 基础知识 首先,得了解什么是RDMA,贴几个资料: 然后得了解如何实现,这两个可以有个初步了解 ...
- SuSE11sp2 InfiniBand驱动安装
近期要测试Intel QLogic QLE7340 40Gb网卡设备及Mellanox ConnectX VPI MT26428 40Gb设备的带宽及延迟.主要测试设备在不同数据包下的TCP.UDP及 ...
- AX210 PCIE网卡 安装记录(linux)
AX210 PCIE网卡 安装记录 win11 安装 安装之前 安装之后 Linux 安装 装了 win11 和 Ubuntu 双系统,需要分别安装 win11 安装 安装之前 家里500M宽带 安装 ...
- 服务器安装内置无线网卡,笔记本怎么安装内置网卡 笔记本内置无线网卡安装步骤【图文】...
寒冷的冬天越来越逼近了,坐在笔记本面前不觉有些冷,但是如果一到床上又觉得网线拖得太长有些不够用.于是想给自己的笔记本加一些零件,那就是内置无线网卡.这样的话不管走在哪里都会有网络了,只要有无线,笔记本 ...
- 安装VMware时报错:virtualXT,以及虚拟网卡安装失败
安装VMware时会遇到的错误: 1,报错:virtualXT,解决办法: 重启电脑<按F2/或者DELET/,这里不同电脑不一样>,进入BIOS,开启虚拟加速开关. 2,虚拟网卡安装失败 ...
- 【RDMA】RDMA信息状态查询|网卡安装|诊断工具|测试RDMA网卡是否正常工作InfiniBand IB常用命令|历史命令记录
目录 RDMA 常用命令 0.使用命令例子 1.常规 IB 监视命令 2.常规 IB 性能测试命令 3.光纤网络诊断工具 4.查询并报告非零 IB 端口计数器 5.其常用指令 新华三 IB 网卡相关 ...
- linux下网卡安装
现在很多服务器安装linux可能会出现网卡,硬盘raid驱动无法等现象<?xml:namespace prefix = o ns = "urn:schemas-microsoft-co ...
最新文章
- python编程从入门到精通pdf-Python编程从入门到精通.pdf
- Fedora设置DVD为yum源
- linux 查看开放的端口_如何在 Linux 中查看正在使用的端口
- 阿里云朱照远:AI打开新视界 8K时代已来!
- Android中使用Handler(消息机制)造成内存泄露的分析和解决
- python 反射和动态加载_Python的反射
- 【BZOJ2194】快速傅里叶之二,FFT和一点奇怪的想法
- c#异步文件传输功能
- centos7.3 安装ansible
- ITIL4,全球IT行业抢手的资格认证之一
- c语言 extern的作用
- PR标题动画模板 创意动态多行标题注释字幕条pr模板
- 5W2H工作法,使工作更有条理,生活更好梳理
- 工业控制计算机固态硬盘,工业控制电脑ssd固态硬盘怎么正确使用?
- 红米k30可以用鸿蒙系统吗,红米K30好用吗?Redmi K30上手评测
- TexStudio编写Latex碰到的问题
- 最大子序列之和(C语言)
- HNUST - 数据库课设
- Android 不同渠道差异代码
- 怎么提高代码质量?-来自Google的研发经验总结
热门文章
- 兼容火狐_30个不错的Firefox 3兼容主题
- 使用SSC添加大量的SDO条目
- 为什么谐振时电抗为0_惠民进线电抗器卓越服务 - 电工电气
- 了解Android中的Preference结构的设计与实现
- firebird转mysql_Firebird数据库语言参考-数据类型转换
- Solidworks2019导入Step/IGS文件不能编辑打开子装配体和零件
- android usb传输图片,关于Android接入USB外接摄像头以及控制拍照并保存图片
- 虚拟机与主机之间通信
- 小米路由为何要搭载搜狗预取引擎
- Rock Pi开发笔记(二):入手Rock Pi 4B plus(基于瑞星微RK3399)板子并制作系统运行