ib网卡命令_infiniband网卡安装、使用总结
最近多次安装、使用infiniband网卡,每次都要到处寻找相关资料,所以决定做此总结,方便查找。
1. 基础知识
首先,得了解什么是RDMA,贴几个资料:
然后得了解如何实现,这两个可以有个初步了解:
编程过程,真正有用的还是官方的手册:
mellanox官方社区能找到很多你需要的东西:
也下了个中文版,但我感觉英文版看着更好。
RDMA编程入门可参考的项目:
2. 驱动安装
下载驱动,进入网站选择相应系统和软件版本,archive versions这里可以下载旧版本驱动
ubuntu16.04平台5.0-2.1.8.0的下载链接为:
wget http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso
其它平台和版本的驱动,可以自己修改。
挂载或解压,如果下载的iso则挂载,若是tgz就解压,下面是挂载命令:
sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
安装
cd /mnt
sudo ./mlnxofedinstall
可能会提示你安装一堆东西,复制,安装就可以了。
安装成功截图:
执行以下命令:
sudo /etc/init.d/openibd restart
sudo /etc/init.d/opensmd restart
查看网卡状态:
sudo hca_self_test.ofed
没有 failed 就对了。
一些其它查看网卡信息的命令:
ibstat
ibstatus
ibv_devinfo
ibv_devices#查看本主机的infiniband设备
ibnodes#查看网络中的infiniband设备
配置ip
ubuntu执行:
sudo vim /etc/network/interfaces
在文件中添加如下内容:
auto enp1s0
iface enp1s0 inet static
address 172.16.0.104
netmask 255.255.255.0
broadcast 172.16.0.255
enp1s0是网卡名称,通过ifconfig查看,address是要给infiniband网卡配置的ip地址。
重启网络服务:
sudo service networking restart
centos执行:
sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0
添加如下内容:
DEVICE=ib0
BOOTPROTO=static
IPADDR=172.16.0.104
NETMASK=255.255.255.0
BROADCAST=172.16.0.255
NETWORK=172.16.0.0
ONBOOT=yes
重启网口:
sudo ifdown ib0
sudo ifup ib0
3. 性能测试
服务端运行:
ib_send_bw -a -c UD -d mlx4_0 -i 1
注意,参数 -i 指定端口,在一个网卡有多个网口的时候,需要指定测试的端口,具体哪个端口,通过 ibstatus 可以看到。
客户端运行:
ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102
最后面的ip地址是服务端infiniband网卡的ip地址。
其他测试项
ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_lat
bw表示测试带宽,lat表示测试延迟,参数同上,可以i通过 --help 查看。
4. 其他问题
更换网卡工作模式:
有些网卡,当你安装好驱动后,通过 ibstatus 命令,会出现下面的情况:
可以看到,该网卡现在处于 Ethernet 的工作模式,如果想要切换成infiniband模式,参考如下链接:
查看当前工作模式:
sudo /sbin/connectx_port_config -s
输入以下命令切换工作模式:
sudo /sbin/connectx_port_config
如果提示如图,说明不支持infiniband模式,否则,就切换成功了,再次使用一下命令可以验证:
sudo /sbin/connectx_port_config -s
不能切换到infiniband工作模式,并不代表不支持RDMA,处于Ethernet模式的网卡使用 RoCE 协议工作。
RDMA 协议:底层可以是以太网( RoCE 或者 iWARP )或者 Infiniband
有些网卡只支持Ethernet(RoCE),不支持Infiniband模式,也就是想从Ethernet切换到Infiniband模式时不能成功,这个要提前了解好。我目前了解到的,Connectx-3只支持Ethernet模式。
ib网卡命令_infiniband网卡安装、使用总结相关推荐
- linux界面配置网卡命令,linux网卡的详细配置
1.网卡的配置文件 网卡的配置文件一般在/etc/sysconfig/network-scripts/目录下.一块网卡对应一个网卡配置文件. 网卡配置文件的命名规则: ifcfg-网卡类型以及网卡的序 ...
- ib网卡命令_IB网卡驱动安装以及Infiniband连接带宽测试
文章目录 一.环境与安装包 二.IB网卡驱动安装 2.1 解压驱动包 2.2 安装 2.3 配置IP 2.4 启动服务 2.5 IB网卡驱动卸载 三.Infiniband连接性带宽测试 3.1 查询I ...
- ib网卡命令_infiniband交换机配置命令总结
串口通过远程CRT登录,波特率9600 用户名和密码都是admin Do you want to use the wizard for initial configuration? 选择no 打开ip ...
- 【RDMA】infiniband网卡安装|ib网卡命令|ibdump 用法说明
目录 1. 基础知识 2. 驱动安装 3.配置IP 4. 性能测试 5. 其他问题 RDMA .InfiniBand.IB卡.IB驱动的关系 ibdump 用法说明 原文:https://www.cn ...
- 【RDMA】RDMA信息状态查询|网卡安装|诊断工具|测试RDMA网卡是否正常工作InfiniBand IB常用命令|历史命令记录
目录 RDMA 常用命令 0.使用命令例子 1.常规 IB 监视命令 2.常规 IB 性能测试命令 3.光纤网络诊断工具 4.查询并报告非零 IB 端口计数器 5.其常用指令 新华三 IB 网卡相关 ...
- linux 服务器 安装网卡驱动,linux下安装编译网卡驱动的方法
安装linux操作系统后发现没有网卡驱动,表现为 system → Administration → Network下Hardware列表为空. 以下为安装编译网卡驱动的过程,本人是菜鸟,以下是我从网 ...
- linux重启网卡的命令行,linux系统重启网卡命令
关于win10系统开机总是要禁用重启网卡才能联网如何解决就为大家介绍到这边了,有遇到同样情况的用户们可以采取上面的方法步骤来解决.问题2已知win7下不需要删除qos协议,在跑无盘模式下以前最好不要安 ...
- linux重启网卡命令_如何在 Linux 中更改 MAC 地址 | Linux 中国
在向你展示如何在 Linux 中更改 Mac 地址之前,让我们首先讨论为什么要更改它.-- Dimitrios Savvopoulos 在向你展示如何在 Linux 中更改 MAC 地址之前,让我们首 ...
- ibm服务器usb虚拟网卡,山石虚拟防火墙安装步骤
山石虚拟防火墙,可以安装在vmware workstation上,非常适合动手操作实践.做实验等,非常好用. 前提也非常容易,电脑支持64位,内存最小4G. 山石虚拟防火墙桥接在物理网卡上,虚拟机和虚 ...
最新文章
- 全局变量:global与$GLOBALS的区别和使用
- gridcontrol 验证错误_值得品读的人生感悟句子,生气,是拿别人的错误惩罚自己...
- Redis中使用Java代码的方式实现发布订阅流程
- Spring之泛型依赖注入
- C++输入一个字符串,去掉这个字符串中出现次数最少的字符 例如: 输入:abcabbc 输出:bbb
- UIWebView加载Loading...两种方法
- influxdb聚合函数JAVA_InfluxDB 聚合函数实用案例
- [Node.js] 模块化 -- http服务器模块
- CSS3 之 flex
- java方法参数传递机制
- Java基础语法练习题
- STM8L051F3串口接收中断超时判断数据结束
- 程序设计框架图和框架加载流程
- 计算机用户帐号 MAC地址怎么查,mac地址怎么查
- C# Winform鼠标样式设置方法
- 用“等待-通知”机制优化循环等待
- 【主板上各种接口和附属部件科普】
- 11-20什么是内网,外网,局域网,如何判断
- [2020 年百度之星·程序设计大赛 - 复赛] Binary Addition
- 基于JavaWeb的血站管理系统
热门文章
- javaweb学习总结(十五)——JSP基础语法
- SVN Files 的值“ .mine”无效。路径中具有非法字符。
- webapi 获取请求参数
- T-SQL查询进阶--变量
- php json和数组,php数组和json数组之间的互相转化
- windows系统如何查看端口被占用、杀进程
- centos7 安装python3.7.1(亲测下面的安装依赖包)
- 关于在centos下安装python3.7.0以上版本时报错ModuleNotFoundError No module named _ctypes 的解决办法
- 微博遭鹿晗恋情暴击瘫痪,如何快速提高系统性能?
- SSI——服务器端嵌入