InfiniBand 网络

当前光纤通道和以太网已经能够支持 10Gbps和更高的速率。因此，在计算机中的主机 I/O总线必须能够以同样的速率发送数据。然而，与所有的并行总线一样，PCI总线限制了网络速度的进一步提高。事实上，基于网络架构的 PCI 总线带宽要达到双向 2 Gbps 都很困难。

InfiniBand代表一种新兴的 I/O技术，它很有可能在高端服务器中取代PCI总线。作为一种介质，InfiniBand定义了各种铜电缆和光导纤维线缆，它为铜缆和光缆指定的最大长度分别是 17m 和 10 000m；也可以在使用导轨的线路板上直接实现InfiniBand。

在InfiniBand 网络中的端点称作通道适配器。lnfiniBand使用两种通道适配器：主机通道适配器 (HCA：Host Channel Adapter)和目标通道适配器 (TCA：Target ChannelAdapter)。

HCA在InfiniBand网络和连接到CPU和RAM的系统总线之间起桥梁作用。 TCA在InfiniBand网络和通过SCSI、光纤通道或以太网连接的外部设备之间起连接作用。与PCI 比较，HCA对应于PCI桥接芯片，TCA对应于光纤通道主机适配卡或以太网卡。

InfiniBand有可能完全改变服务器和存储设备的体系结构，需要考虑的是，网卡和主机总线适配卡可能被放置在 100m距离之外。这就意味着，配有CPU和内存的母板、网卡、主机总线适配卡和存储设备都作为物理上分离的非耦合的设备单独安装。这些设备都通过一个网络连接在一起。现在还不明朗，TCA 连接存储设备、光纤通道或以太网这 3种传输技术中的哪一种将会在这一领域中占主导地位。

智能磁盘子系统的功能正在变得越来越强大，而 InfiniBand 有助于在服务器和减少了 CPU负荷的存储设备之间快速通信。因此至少在理论上，诸如文件系统的缓存和共享磁盘文件系统的锁定同步这类子功能可以直接实现在磁盘子系统中或特别的处理机上。

InfiniBand发展的初衷是把服务器中的总线网络化。所以 InfiniBand除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。人们熟知的在总线技术中采用的DMA(Direct Memory Access，直接内存访问)技术在InfiniBand中以 RDMA(RemoteDirect Memory Access，远地直接内存访问)的形式得到了继承。

RDMA 通过网络把数据直接传入计算机的存储区域，将数据从本地系统快速移动到远程系统的存储器中。它消除了外部存储器复制和文本交换操作，因而能腾出总线空间和 CPU周期用于改进应用系统性能。日前通用的做法是由系统先对传入的信息进行分析，然后再存储到正确的区域。

当一个应用执行RDMA读或写请求时，不执行任何数据复制。在不需要任何内核内存参与的条件下，RDMA 请求从运行在用户空间中的应用中发送到本地网卡，然后经过网络传送到远程网卡。RDMA 操作使应用可以从一个远程应用的内存中读数据或向这个内存写数据。用于操作的远程虚拟内存地址包含在RDMA信息中。远程应用除了为其本地网卡注册相关内存缓冲区外，不需要做其他任何事情。远程节点中的 CPU完全不参与输入的RDMA操作。这项技术在网卡中实施可靠的数据传输协议，并通过减少对带宽和处理器的开销降低了时延。

这种优化了的性能是通过在网卡的硬件中支持零复制技术和内核内存旁路技术实现的。零复制技术使网卡可以直接与应用内存相互传输数据，从而消除了在应用内存与内核内存之间复制数据的需要。内核内存旁路技术使应用无需执行内核内存调用就可向网卡发送命令。在不需要任何内核内存参与的条件下，RDMA 请求从用户空间发送到本地网卡，并通过网络发送给远程网卡，这就减少了在处理网络传输流时内核内存空间与用户空间之间的环境切换次数，从而降低了时延。

整理自《存储网络技术与应用》

------------------------------------------------------------------------------

QQ:492913789

Email:ahdba@qq.com

Blog: http://www.cndba.cn/dave

网上资源： http://tianlesoftware.download.csdn.net

相关视频：http://blog.csdn.net/tianlesoftware/archive/2009/11/27/4886500.aspx

DBA1 群：62697716(满); DBA2 群：62697977(满)

DBA3 群：62697850 DBA 超级群：63306533;

聊天群：40132017

--加群需要在备注说明Oracle表空间和数据文件的关系，否则拒绝申请

InfiniBand 网络相关推荐

NVIDIA LinkX 助力InfiniBand网络高速稳定与可靠传输
InfiniBand(直译为"无限带宽"技术,缩写为IB)是一个用于高性能计算的计算机网络通信标准,是世界领先的超级计算机的互连首选.基于NVIDIA InfiniBand的端到端 ...
InfiniBand网络简介
IP网络协议如TCP/IP,具有转发丢失数据包的特性,网络不良时要不断地确认与重发,基于这些协议的通信也会因此变慢,极大地影响了性能.与之相比,IB使用基于信任的.流控制的机制来确保连接的完整性,数据 ...
InfiniBand网络
InfiniBand网络优点:吞吐量高,速度快.延时低缺点:价格昂贵,软件支持比较少适用场景:在高速网络环境中适用
Infiniband 网络性能测试
1.带宽测试在server端执行 [ibtests]# ib_send_bw -a -c UD -d mlx4_0 -i 1 ------------------------------------ ...
Infiniband网络测速
基本环境: CPU 内存硬盘 IB卡主机名 2*E5-2620 v4 128G 512G Mellanox Technologies MT27500 node01 2*E5-2620 v4 128 ...
Infiniband网络抓包
在机器上执行以下命令进行抓包 ibdump -w ibdump201910210950_ib_send_bw.pcap # -w 指定保持数据的文件位置把.pcap文件用wireshark打开,如下 ...
linux安装软件命令1003无标题,linux系统安装OFED（infiniband）
计算节点安装OFEDnode scientific linux5.8 x86_64linux 1.查看系统系统:c++ [root@localhost ~]# cat /etc/redhat-rele ...
什么是超融合数据中心网络？
数据中心网络连接数据中心内部通用计算.存储和高性能计算资源,服务器间的所有数据交互都要经由网络转发.当前,IT架构.计算和存储技术都在发生重大变革,驱动数据中心网络从原来的多张网络独立部署向全以太化演 ...
【RDMA】RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC
目录 1.什么是QoS 2.为什么RoCE网络需要QoS 3.为了实现每个流有不同的优先级,硬件层如何对流量分类 4. 应用层如何对流量分类 5. 应用层对流量的分类是怎么映射到硬件层上的分类 6.映 ...

InfiniBand 网络

InfiniBand 网络相关推荐

最新文章

热门文章