Mellanox IB卡虚拟化

IB卡型号： MT27500

1.BIOS里开启SRIOV，CPU开启VT以及安装网卡对应的驱动等过程略

2.修改启动菜单参数

执行命令vi /etc/default/grub，按“i”进入编辑模式，在linuxefi行后添加启动参数“intel_iommu=on iommu=pt pci=assign-busses pci=realloc”。

添加完参数之后的启动参数如下：

GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet intel_iommu=on iommu=pt pci=assign-busses pci=realloc"

修改完后重新生成启动菜单文件：grub2-mkconfig >/boot/efi/EFI/centos/grub.cfg

注意：启动方式为UEFI时，生成grub.cfg的路径是 /boot/efi/EFI/centos/grub.cfg

在非UEFI启动里的启动菜单路径在 /boot/grub2/grub.cfg

检查上述修改是否生效：cat /boot/efi/EFI/centos/grub.cfg 查看是否有 intel_iommu 几个参数

4. 修改完以上参数后，重启一下服务器。

IB卡配置官方参照页面：

HowTo Configure SR-IOV for ConnectX-3 with KVM (InfiniBand) (mellanox.com)

5. 配置

5.1打开固件的SRIOV功能

# mst start 启动 mst

Starting MST (Mellanox Software Tools) driver set

Loading MST PCI module - Success

Loading MST PCI configuration module - Success

Create devices

# mst status 查看所有ib卡状态

MST modules:

------------

MST PCI module loaded

MST PCI configuration module loaded

MST devices:

------------

/dev/mst/mt4099_pciconf0 - PCI configuration cycles access.

domain:bus:dev.fn=0000:5e:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1

Chip revision is: 01

/dev/mst/mt4099_pci_cr0 - PCI direct access.

domain:bus:dev.fn=0000:5e:00.0 bar=0xc5e00000 size=0x100000

Chip revision is: 01

查看IB卡MT27500这张卡的配置，MT27500对应的是mt4099,

# mlxconfig -d /dev/mst/mt4099_pciconf0 q

Device #1:

----------

Device type: ConnectX3

Device: /dev/mst/mt4099_pciconf0

Configurations: Next Boot

SRIOV_EN False(0)

NUM_OF_VFS 0

LINK_TYPE_P1 VPI(3)

LINK_TYPE_P2 VPI(3)

LOG_BAR_SIZE 3

BOOT_PKEY_P1 0

BOOT_PKEY_P2 0

BOOT_OPTION_ROM_EN_P1 True(1)

BOOT_VLAN_EN_P1 False(0)

BOOT_RETRY_CNT_P1 0

LEGACY_BOOT_PROTOCOL_P1 PXE(1)

BOOT_VLAN_P1 1

BOOT_OPTION_ROM_EN_P2 True(1)

BOOT_VLAN_EN_P2 False(0)

BOOT_RETRY_CNT_P2 0

LEGACY_BOOT_PROTOCOL_P2 PXE(1)

BOOT_VLAN_P2 1

IP_VER_P1 IPv4(0)

IP_VER_P2 IPv4(0)

CQ_TIMESTAMP True(1)

# mlxconfig -d /dev/mst/mt4099_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8 //注意 mt4099会根据不同型号IB卡有所不同

设置完后可以用上面的一条带 q 参数的指令查看。

8. 重启服务器

9. 打开MLNX_OFED驱动的SRIOV配置

#ibstat 查看ib设备状态，一般ConnectX-3 型号IB卡的驱动核心是 mlx4_0

创建或编辑 vi /etc/modprobe.d/mlx4_core.conf,写入以下内容:

options mlx4_core num_vfs=4 port_type_array=1 probe_vf=4(仅第1个port虚拟4张卡)

options mlx4_core num_vfs=4,4,0 port_type_array=1,1 probe_vf=4,4,0 log_num_mgm_entry_size=-1(2port，每个port虚拟出4张卡,注:笔者该方法并未成功)

# modinfo mlx4_core |grep -i vfs 该指令可查看mlx4_core的options配置方法

更多配置请参照 HowTo Configure SR-IOV VFs on Different ConnectX-3 Ports (mellanox.com)

重新加载ib卡驱动(重启IB卡)

# /etc/init.d/openibd restart

10. 查看是否有虚拟IB卡创建成功

# lspci|grep -i "virtual function"

Mellanox IB卡虚拟化相关推荐

Mellanox IB卡驱动的安装和小记录
以centos8.2 + CX354A卡为例驱动: 系统默认自带核内驱动[INBOX]:插上卡开机lspci -k 就能看到对应的卡已经有mlx4_core这样的驱动加载了,这个是内核自带的驱动,对 ...
Ubuntu 14.04安装IB卡驱动详细教程
软硬件环境: Ubuntu14.04.1 LTS server 64bit,Titan X 4片,Mellanox CX353A infiniband 卡首先在Mellanox官网下载到该卡的驱动, ...
Mellanox IB交换机SM HA
官网参考链接:https://community.mellanox.com/s/article/understanding-subnet-manager–sm–high-availability–ha ...
Mellanox Infiniband卡切换IB/Ethernet模式
在RedHat或者CentOS系统下切换 Infiniband卡的工作模式 Infiniband卡支持两种工作模式:IB模式和 Ethernet模式首先,启动mst 工具,通过 mst工具查看自己的 ...
IB卡配置可以ping通的子网交换器
service opensm start service opensm enable
史上最全电磁仿真(HFSS、CST、FEKO)时域、频域精准配置推荐
一．电磁仿真计算特点与硬件配置分析电磁仿真广泛应用于无线和有线通信.计算机.卫星.雷达.半导体和微波集成电路.航空航天等领域,从毫米波电路.射频电路封装设计验证,到混合集成电路.PCB板.无源板级器 ...
cst仿真用计算机配置,史上最全电磁仿真(HFSS、CST、FEKO)时域、频域精准配置推荐...
一．电磁仿真计算特点与硬件配置分析电磁仿真广泛应用于无线和有线通信.计算机.卫星.雷达.半导体和微波集成电路.航空航天等领域,从毫米波电路.射频电路封装设计验证,到混合集成电路.PCB板.无源板级器件 ...
分子模拟榨干GPU性能的参数建议
显卡加速自从在分子模拟开始使用以来,大大加速了分子力学的模拟速度,引sob大提到的观点"一个家用高端四核处理器加上一张消费级显卡(如RTX2060)就可以超过20核双路服务器". ...
RDMA,remote direct memory access
在电脑运算领域,远程直接内存访问(英语:remote direct memory access,RDMA)是一种直接内存访问技术,它将数据直接从一台计算机的内存传输到另一台计算机,无需双方操作系统的介 ...

Mellanox IB卡虚拟化

Mellanox IB卡虚拟化相关推荐

最新文章

热门文章

Mellanox IB卡 虚拟化

Mellanox IB卡 虚拟化相关推荐

最新文章

热门文章

Mellanox IB卡虚拟化

Mellanox IB卡虚拟化相关推荐