部署软件RDMA的步骤
date: 2018-08-28 19:46:56
参考原文原文:http://corasql.blog.51cto.com/5908329/1930455
http://www.bubuko.com/infodetail-2092754.html
centos 6.8 安装
系统:
采用VMware虚拟机安装,网卡模式选择桥接模式。(选择nat模式会配置失败!)
如果机器是desk版的,启用NetworkManager 服务
如果机器是minimal版,不用管NetworkManager服务
1、安装依赖包
yum install epel-release -y yum install gcc gcc-c++ bc openssl-devel automake ncurses-devel libibverbs ncurses* -y yum install libibverbs-devel libibverbs-utils librdmacm librdmacm-devel librdmacm-utils perl-Switch elfutils-libelf-devel -y
2、 librxe-dev 和 rxe-dev下载
下载地址
Github: https://github.com/SoftRoCE/rxe-dev.git # 备注:rxe-dev下载v18版本,即rxe-dev-rxesubmissionv18 Github: https://github.com/SoftRoCE/librxe-dev.git #这个选择1.0.0版本的
3、安装rxe-dev
unzip rxe-dev-rxe_submission_v18.zip cd rxe-dev-rxe_submission_v18/ cp /boot/config-3.10.0-514.el7.x86_64 .config make menuconfig#会出现选择界面(如果没出现,需要安装 ncurse-devel)#输入 "/" ,然后输入 rxe,按下 enter,会查找有关 rxe 的选择项。#输入数字 1,就会选择到“Software RDMA over Ethernet (ROCE) driver”的设#置,输入 "M" ,选中 RDMA 的配置,如果 输不了 M,那就输入空格。#移动到保存按钮,回车,装保存到.config中,退出安装界面(exit)。 vi .config #来确认一下三项:CONFIG_RDMA_RXE 为 mCONFIG_INFINIBAND_ADDR_TRANS 和 CONFIG_INFINIBAND_ADDR_TRANS_CONFIGFS 为 ymake -j 4 # -j 指定CPU核数的,提高编译速度的。 make modules_install # 可能执行中途 会提示 丢失一些 module,这个 没关系,无关紧要。 make install # 可能执行中途 会提示 丢失一些 module,这个 没关系,无关紧要。 make headers_install INSTALL_HDR_PATH=/usr vim /etc/grub.conf # 确认新的内核是否在 grub 引导中。查看 /etc/grub.cfg 即可看见。在开机的时候可以选择 新内核启动
4、安装 librxe-dev
先按照:MLAN---软件包(见另外一个文档)(centos6.8这一步可以忽略)
centos6.8的系统忽略这一步:yum -y install tcl tk tar -zxvf MLNX_OFED_LINUX-4.2-1.2.0.0-rhel7.4-x86_64.tgz cd MLNX_OFED_LINUX-4.2-1.2.0.0-rhel7.4 ./mlnxofedinstall /etc/init.d/openibd start /etc/init.d/opensmd start chkconfig openibd on chkconfig opensmd on ibstat ----> status: Active
unzip librxe-dev-librxe-1.0.0.zip cd librxe-dev ./configure --libdir=/usr/lib64/ --prefix= make make install reboot # 重启操作系统,在开机启动时,选择4.7.0-rc3内核!!!
uname -r # 启动后,查看内核版本,是否是4.7的版本
5、验证 rdma (依次输入一下命令)
[root@ab ~]# rxe_cfg start
Name Link Driver Speed NMTU IPv4_addr RDEV RMTU
eth0 yes e1000
[root@ab ~]# rxe_cfg add eth0 # centos7.3 就是ens33
[root@ab ~]# rxe_cfg status
Name Link Driver Speed NMTU IPv4_addr RDEV RMTU
eth0 yes e1000 rxe0 1024 (3)
virbr0 no bridge
virbr0-nic no tun
查看rxe设备
ibvdevices 程序显示该系统中目前所有设备,而 ibvdevinfo 命令会给出每个设备的具体信息
[root@ab ~]# ibv_devices
device node GUID
------ ----------------
rxe0 020c29fffe55c818
[root@ab ~]# ibv_devinfo rxe0
hca_id: rxe0
transport: InfiniBand (0)
fw_ver: 0.0.0
node_guid: 021c:29dd:fe55:c818
sys_image_guid: 0000:0000:0000:0000
vendor_id: 0x0000
vendor_part_id: 0
hw_ver: 0x0
phys_port_cnt: 1
port: 1
state: PORT_ACTIVE (4)
max_mtu: 4096 (5)
active_mtu: 1024 (3)
sm_lid: 0
port_lid: 0
port_lmc: 0x00
link_layer: Ethernet
6、softRoCE连通性测试
服务端IP为:192.168.1.10,在服务端开启RDMA
rping -s -a 192.168.1.10 -v -C 10
出现的等待窗口,
客户端IP为:192.168.1.34,按照同样的方式安装RDMA(因为rping的命令需要使用以上软件的安装才能生成)
rping -c -a 192.168.1.10 -v -C 10
[root@bogon ~]# rping -c -a 192.168.1.10 -v -C 10
ping data: rdma-ping-0: ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqr ping data: rdma-ping-1: BCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrs ping data: rdma-ping-2: CDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrst ping data: rdma-ping-3: DEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstu ping data: rdma-ping-4: EFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuv ping data: rdma-ping-5: FGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvw ping data: rdma-ping-6: GHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwx ping data: rdma-ping-7: HIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxy ping data: rdma-ping-8: IJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyz ping data: rdma-ping-9: JKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyzA
View Code
此时的服务端会出现一下信息:
[root@jack ~]# rping -s -a 192.168.1.10 -v -C 10
server ping data: rdma-ping-0: ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqr server ping data: rdma-ping-1: BCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrs server ping data: rdma-ping-2: CDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrst server ping data: rdma-ping-3: DEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstu server ping data: rdma-ping-4: EFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuv server ping data: rdma-ping-5: FGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvw server ping data: rdma-ping-6: GHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwx server ping data: rdma-ping-7: HIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxy server ping data: rdma-ping-8: IJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyz server ping data: rdma-ping-9: JKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmnopqrstuvwxyzA server DISCONNECT EVENT... wait for RDMA_READ_ADV state 10
下面的这个软件不知道有个什么用?======> 用于生成客户端的rping命令的,这样客户端还是要安装rdma的。否则不成功。
7、关于librdmacm编译说明
git clone https://github.com/ofiwg/librdmacm.git cd librdmacm yum install autoconf automake gettext gettext-devel libtool libibverbs* -y ./autogen.sh ./configure make make install
8、常见问题
(1)如果你克隆虚机,需要解决网卡问题
(2)使用rdma,请将防火墙与selinx关闭
转载于:https://www.cnblogs.com/kaishirenshi/p/9550441.html
部署软件RDMA的步骤相关推荐
- 实战:通过组策略为用户部署软件
为用户部署软件,域用户登录后如果需要就会很容易安装,如果用户不需要,则不安装. 用户的计算机没有安装Word ,如果点击扩展名是doc的文件,则会激活Word软件的安装,用户也可以使用添加删除程序安装 ...
- 商业智能软件的实施步骤依次是什么?
部分企业在刚开始接触商业智能的时候,以为只需要将商业智能软件买回就可以马上投入使用.其实并不是这么简单,商业智能软件作为一个解决方案,从前期的部署到后期的维护,需要考虑很多因素,比如数据系统后端架构, ...
- LAMP-架构环境网站搭建;在Apache Web服务器上部署PHPBB3网站详细步骤;Linux+Apache2+PHP+MySQL 安装和配置
在Apache Web服务器上部署PHPBB3网站 LAMP-架构环境网站搭建;在Apache Web服务器上部署PHPBB3网站详细步骤:Linux+Apache2+PHP+MySQL 安装和配置 ...
- 组策略部署软件之一:软件分发概论与部署MSI程序包
在局域网中,我们都会面临要给客户端机器进行软件安装.升级.维护.删除操作,这给我们带来的庞大工作量,以及由此可能产生的安全问题一直都是令所有网管头疼的事.那么我们今天就讲一下如何能过Windows S ...
- windows phone 越狱教程:利用学生帐号解锁并部署软件教程(图文并茂)
之前老是看到有学生帐号可以越狱,但一直以来都觉得比较复杂,不想下手. 近日,TX微信出来了,很多人都想装,可是装不了, 所以下决心研究一下学生帐号越狱. 网上看教程,发现很多都是不全面,有些只有一半, ...
- SCCM2012 R2集成WSUS服务器-4:部署软件更新组
=================================================================== 在之前的文章中,我们已经创建好的软件更新组,也下载好了补丁,下面 ...
- 基于Java毕业设计写手管理平台源码+系统+mysql+lw文档+部署软件
基于Java毕业设计写手管理平台源码+系统+mysql+lw文档+部署软件 基于Java毕业设计写手管理平台源码+系统+mysql+lw文档+部署软件 本源码技术栈: 项目架构:B/S架构 开发语言: ...
- 基于Java毕业设计研究生招生信息管理源码+系统+mysql+lw文档+部署软件
基于Java毕业设计研究生招生信息管理源码+系统+mysql+lw文档+部署软件 基于Java毕业设计研究生招生信息管理源码+系统+mysql+lw文档+部署软件 本源码技术栈: 项目架构:B/S架构 ...
- QT软件版本更改步骤
QT软件版本更改步骤 64位改32位调试记录 1.QT版本更改方式 1.1.搜索打开Qt 5.11.1 Maintenance Tool,选择Add or remove components,下载32 ...
最新文章
- 二极管的反向恢复过程
- ppt格式刷快捷键_高效地制作PPT
- JavaScript单行代码
- spring mvc ModelAndView向前台传值
- html5 lang作用,HTML5中的lang属性,zh
- Appium appium android 6.0+ 微信 @driver.available_contexts 返回 webview_undefined 问题
- “敏捷项目管理就是胡闹!”
- centos 5 手动分区来安装系统的方法
- Codevs 1200 同余方程 2012年NOIP全国联赛提高组
- STC单片机程序下载原理与自动下载
- 移动平均法(Moving average,MA) 指数平滑法(Exponential Smoothing,ES)
- FTP文件传输神器:8uftp
- 个人知识管理系统思源笔记
- 红黑树区分 左旋 和 右旋
- LeetCode 1041. 困于环中的机器人(C++)
- c++中整形输入逗号_Excel 2013中单元格添加下拉列表的方法
- AJAX+php实现分页器:分页展示数据
- 交换机配置--进入web页面
- 软件企业必备的认证资质证书
- face_recognition人脸检测