用GPUDirect RDMA技术做的代码测试

[复制链接]

sisiy

电梯直达

楼主

发表于 2015-7-13 21:06:28|只看该作者

要应用GPUDirect RDMA技术，首先要有足够的硬件支持。包括infiniband的HCA卡（Mellanox ConnectX-3及以后产品），GPU卡（K20及以后产品）。

其次，除了应用GPU必备的Nvidia Driver、Nvidia CUDA toolkit，应用infiniband必备的MLNX_OFED驱动外，还要额外安装一个plug module to enable GPUDirect RMDA组件。

具体可参见附件中Mellanox的manual，内有驱动下载地址以及安装示例。

在此,对一些安装细节做一些说明（以 CentOS 6.5+openMPI为例）：

1、 linux系统内核查询指令： uname –a

2、 CentOS版本号: cat /etc/redhat-release

3、 HCA卡型号： lspci |grep mellanox –i

4、现有infiniband驱动： ofed_info|head -1

5、 Cuda版本： nvcc -V

6、 Nvidia_peer包安装：

先安装rpm-build包----------yum install rpm-build;

下载nvidia_perr_memory安装包并解压;

进入解压后的目录，运行rpmbuild –rebuild nvidia_peer_memory-1.0-0.src.rpm;

cd ~/rpmbuild/RPMS/x86_64;

rpm –ivh nvidia_peer_memory-1.0-0.x86_64.rpm;

运行lsmod |grep nv_peer_mem检查是否安装成功

运行server nv_peer_mem start 开启模块

7、openMPI-1.8.1安装：

下载并解压openmpi-1.8.1或以后版本；

以如下编译选项安装：

./configure –prefix=要安装的目录

–with-openib –with-cuda=cuda所在目录

–with-cuda-include=cuda所在目录/include

–with-cuda-libpath=cuda所在目录/lib64 –enable-oreerun-prefix-by-default –disable-io-romio –enable-picky

Make;make install

至此，软件安装已完成。软件实例代码以及编译选项见附件。

运行时请使用 mpirun –app appfile 形式。

appfile文件写法如下：

-H 第一台机器的IB_INTERFACE -np 1 –mca btl openib,self,sm ./b.out

-H 第二台机器的IB_INTERFACE -np 1 –mca btl openib,self,sm ./b.out

测试结果见附件。测试中第一列是以K为单位的数据量，第二行为RMDA方法的时间，第三行为传统方法的时间。

用GPUDirect RDMA技术做的代码测试相关推荐

Alpha Test 透明通道测试技术做篱笆效果图
Alpha test是可以通过测试然后丢弃不需要渲染的像素的.顾名思义就是根据他的alpha值与某特定值比较. 这个技术做腐蚀效果,某些电影特技如:可以让一个人慢慢各个部位褪色,最后消失--等,而且不 ...
RDMA技术--华为精华
面对高性能计算.大数据分析和浪涌型IO高并发.低时延应用,现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求.这要有体现在处理延时过大,数十微秒:多次内存拷贝.中断处理,上下 ...
RDMA技术详解——RDMA常见概念
Fabric A local-area RDMA network is usually referred to as a fabric. 所谓Fabric,就是支持RDMA的局域网(LAN). CA( ...
SpringBoot系列三：SpringBoot基本概念（统一父 pom 管理、SpringBoot 代码测试、启动注解分析、配置访问路径、使用内置对象、项目打包发布）...
声明:本文来源于MLDN培训视频的课堂笔记,写在这里只是为了方便查阅. 1.了解SpringBoot的基本概念 2.具体内容在之前所建立的 SpringBoot 项目只是根据官方文档实现的一个基础程 ...
idea2020shezhi代码检查级别_ICT技术：阿里巴巴代码缺陷检测探索与实践
目前PRECFIX技术已经在阿里巴巴集团内部落地并获得好评,关于"PRECFIX"技术的论文被国际软件工程大会(ICSE)收录. 张昕东(别象) 阿里巴巴云研发事业部算法工程师 ...
纯做技术是自娱自乐抛开技术做技术才是出路
短短一生不过数十载,对于很多人而言,作IT.作技术只是生命中的某一段,并非所有.而无论是换工作还是换行业,只是一种形式而已,最终我们追求的是成功.是荣誉.是收获.于是在年轻的这几年里,作为技术人员理应 ...
iOS 覆盖率检测原理与增量代码测试覆盖率工具实现
背景对苹果开发者而言,由于平台审核周期较长,客户端代码导致的线上问题影响时间往往比较久.如果在开发.测试阶段能够提前暴露问题,就有助于避免线上事故的发生.代码覆盖率检测正是帮助开发.测试同学提前发现 ...
【华为云技术分享】【测试微课堂】DevOps敏捷测试之道
本文介绍企业在敏捷和DevOps的逐步转型过程中,测试如何应对挑战,有的放矢进行测试,建立适合产品自身发展阶段.产品特点的敏捷测试能力. 敏捷和DevOps 敏捷和DevOps转型始终是被业务目标和客 ...
Node.js 单元测试：我要写测试 - Mocha - Nodejs开源项目里怎么样写测试、CI和代码测试覆盖率
-------------------------------------- 单元测试Express/NodeJs 个人理解, 1,如果不是测试http请求的单元测试,用Mocha, Chai等基本够 ...

用GPUDirect RDMA技术做的代码测试

用GPUDirect RDMA技术做的代码测试

用GPUDirect RDMA技术做的代码测试相关推荐

最新文章

热门文章