基于NVIDIA QM8700/8790交换机与HDR网卡的InfiniBand高性能网络解决方案
水之积也不厚,则其负大舟也无力,如果将高性能计算、机器学习、大数据、云、web 3.0 、存储平台等应用看作“舟”,那InfiniBand网络无疑是承载这些大舟的水。随着数据的爆发式增长,这些应用对网络带宽、延时、效率的要求不断提升,面对这些挑战,NVIDIA也相继推出InfiniBand 100G EDR、200G HDR以及400G NDR的解决方案。
纳多德是NVIDIA网络产品的Elite Partner,在InfiniBand高性能网络建设与应用加速方面拥有深刻的业务理解和丰富的项目实施经验。纳多德基于QM8700、QM8790交换机、HDR网卡与AOC/DAC/光模块,构建InfiniBand高性能网络,提供更出色的数据吞吐和网络计算能力,满足越来越高的计算需求。
什么是InfiniBand?
InfiniBand (IB) 是一个计算机网络通信标准,在高性能计算(HPC)领域有广泛的应用,可以提供高吞吐带宽和超低的网络传输时延。IB可以用于计算机内部或外部的数据互联。通过直连或者交换机互联的方式,提供服务器与存储,存储设备之间的高性能网络。IB网络可以通过交换机网络实现横向扩展,适应各种规模的组网需求。
图一 InfiniBand速率演进
作为计算机集群互联技术,IB技术相比以太网/Fibre Channel 和已经淘汰的Omni-Path技术有明显的优势,是InfiniBand Trade Association(IBTA)主要推荐的网络通信技术。从2014年开始,大多数的TOP500 超级计算机都采用了InfiniBand网络技术。近些年,AI/大数据相关的应用,也已经大规模的采用IB网络实现高性能的集群部署,其中Top100的超算中心有62%是使用的IB技术(2022年6月数据)。
图二 Top 100超算中心网络选择
InfiniBand较Omni-Path的优势
尽管NVIDIA已经推出了IB 400G NDR的解决方案,但现阶段仍有部分客户在使用100G解决方案。对于100G的高性能网络,常用的方案有Omni-Path和IB两种,虽然速率相同,性能相似,但网络结构差异巨大。以400节点集群为例,使用IB方案只需要15台NVIDIA Quantum 8000系列交换机+200条200G分支线缆与200条200G直连线缆;而使用Omni-Path则需要24台交换机+876条100G直连线缆(384节点)。IB方案在前期的设备成本以及后期运维成本上都极具优势,且整体功耗远低于Omni-Path,更加环保。
图三 InfiniBand方案与Omni-Path方案对比
InfiniBand HDR产品方案介绍
从客户端的需求来看,EDR正逐步退出市场,NDR速率太高,目前只有头部客户尝试使用,HDR凭借HDR 100G与HDR 200G的灵活性得到了广泛应用。在这里,纳多德针对HDR产品方案做详细介绍。
HDR交换机
HDR交换机有两类,一类是HDR CS8500框式交换机,一台29U的交换机提供最多800 个HDR 200Gb/s 端口,每个200G端口支持拆分为2X100G,即可支持1600个HDR100 100Gb/s端口。
另一类是QM8000系列盒式交换机,1U的面板上集成了40个200G QSFP56端口,最多可拆分为80个HDR 100G端口用来下连100G HDR网卡,同时每个端口也支持EDR,与EDR的网卡直连,需要注意的是200G HDR端口只能降速至100G与EDR网卡互联,无法拆分为2X100G连接两张EDR网卡。
图四 QM8700前面板
200G HDR盒式交换机有两种选择:QM8700和QM8790,两个型号交换机唯一区别在管理方式上,QM8700有control口支持带外管理,QM8790则需要NVIDIA Unified Fabric Manager (UFM®) platform进行管理。
图五 QM8790前面板
对于QM8700和QM8790,每个型号的交换机都有两种风向选择,其中8790-HS2F为 P2C airflow(前后风道) 风扇模块上蓝色标记,如果不认识标记,也可以用手浮在交换机的进风和出风口来辨别;8790-HS2R为 C2P airflow(后前风道)风扇模块上红色标记。这里P2C和C2P中 P表示Power电源,C表示Cable(线路接口),P2C(Power to Cable),C2P(Cable to Power )这里参照系是Power电源侧为前,Cable线路接口侧为后。
表一 HDR交换机型号参数
QM8700和QM8790在实际使用中一般有两种方式,一是与200G HDR网卡互连,直接使用200G to 200G AOC/DAC即可;还有一种常见的使用方式是与100G HDR网卡互连,需要使用200G to 2X100G线缆,在使用的时候是将交换机的一个物理200G(4X50G) QSFP56端口拆分为2个虚拟的100G(2X50G)端口,在拆分之后该端口的符号从x/y更改为x/ Y /z,其中“x/ Y”表示拆分之前端口的先前符号,“z”表示产生的单车道端口的编号(1,2),然后将每个子物理端口作为单个端口。
图六 HDR二层胖树典型结构
HDR网卡
HDR的网卡相对交换机来说种类丰富很多。首先,在速率上有两种选择HDR100与HDR,其中HDR100网卡支持100G的传输速率,2个HDR100端口可通过200G to 2X100G线缆与HDR交换机互联。与100G EDR网卡不同,HDR100网卡的100G端口既支持4X25G NRZ传输,也支持2X50G PAM4传输。HDR网卡支持200G的传输速率,可直接使用200G直连线缆与交换机互联。除了有两种接口速率之外,每种速率的网卡可根据业务需求选择单口和双口以及PCIe 的类型,纳多德提供的常用IB HDR网卡型号如下:
表二 HDR网卡型号参数
InfiniBand网络架构简单,但方案选择却有多样,100G速率既有100G EDR方案,也有100G HDR方案;200速率也有HDR和200G NDR两种选择,不同的方案下使用到的网卡、连接件、交换机都有较大区别。NADDOD作为NVIDIA Elite级别合作伙伴,可以根据不同客户的需求提供完整的InfiniBand解决方案。纳多德资深技术工程师拥有丰富的InfiniBand高性能网络方案设计与项目实施服务经验,可根据用户不同的应用场景,提供最优的QM8700/QM8790交换机+HDR网卡+AOC/DAC/光模块产品组合方案,实现超强性能和可扩展性,以更低的成本和出色的性能,为高性能计算 (HPC)、人工智能等应用提高投资回报率。
InfiniBand,畅享高性能网络应用加速新体验!即刻联系纳多德技术工程师,免费获取来自NVIDIA Elite Partner团队的方案咨询与技术支持服务。
基于NVIDIA QM8700/8790交换机与HDR网卡的InfiniBand高性能网络解决方案相关推荐
- Infiniband HDR 网卡、交换机使用向导
Infiniband HDR 200Gb(以下简称IB HDR) 产品开箱使用向导主要分为以下几个关键步骤: 一.物理链路连接 将IB HDR 网卡正确安装到主机的PCIe插槽: 将IB HDR交换机 ...
- 基于嵌入式Linux的千兆以太网卡驱动程序设计及测试
基于嵌入式Linux的千兆以太网卡驱动程序设计及测试 一. 引言 千兆以太网是一种具有高带宽和高响应的新网络技术,相关协议遵循IEEE 802.3规范标准.采用和10M以太网相似的帧格式.网络协议和布 ...
- 基于NVIDIA Xavier NX(ubuntu20.04)的Optitrack视觉定位 PX4+ros noetic(实物运行记录)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一:硬件准备 两种界面化显示的方式 无线连接 有线连接 二:软件准备 1:远程登录软件 NoMachine 2:安装r ...
- 基于NVIDIA GPUs的深度学习训练新优化
基于NVIDIA GPUs的深度学习训练新优化 New Optimizations To Accelerate Deep Learning Training on NVIDIA GPUs 不同行业采用 ...
- FAST:基于FPGA的SDN交换机开源项目
自1983年自由软件运动领袖Richard Stallman提出了GNU计划以来,开源为软件开发带来了创造性的革命和商业成功.SDN如今的快速发展也离不开开源社区的力量,比如NOX.Floodligh ...
- 剖析基于IOS的华为交换机配置口令设置
From:http://network.51cto.com/art/201001/175116.htm 剖析基于IOS的华为交换机配置口令设置,如何设置华为交换机配置口令,网络上有不少的方法,下面是设 ...
- 计算机网络工程教程:基于cisco路由器和交换机,计算机网络工程教程—基于cisco路由器和交换机教学课件作者陆魁军chap2交换机VLAN设置v2.ppt...
计算机网络工程教程-基于cisco路由器和交换机教学课件作者陆魁军chap2交换机VLAN设置v2.ppt (47页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方 ...
- 基于 NVIDIA GPU 和 RAPIDS 加速 Spark 3.0
导读:今天给大家分享的主题是基于NVIDIA GPU和RAPIDS加速Apache Spark 3.0,首先会介绍Apache Spark的RAPIDS加速器及工作原理,然后分享我们对于Shuffle ...
- Ultralytics公司YOLOv8来了(训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速)--跟不上“卷“的节奏
Official YOLOv8 训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速 说明: 本项目支持YOLOv8的对应的package的版本是:ultralytics-8. ...
最新文章
- boost::mp11::mp_max_element相关用法的测试程序
- PHP登录密码的生成与验证
- 判断 小程序_第五届美亚杯赛前必备:从案情资料到小程序解题
- edmonds算法matlab,匈牙利算法的matlab实现
- 【转】ABP源码分析二十八:ABP.MemoryDB
- react中@withrouter_为什么 withRouter 高阶组件应该 处于最外层?
- windows 串口中断编程_万变不离其宗之单片机串口共性问题
- 东财计算机应用基础在线作业一,东财《计算机应用基础》综合作业
- 中国数据总线电缆市场趋势报告、技术动态创新及市场预测
- PMP项目管理认证体系
- python socket thread,python实现socket+threading处理多连接的方法
- C# 将Big5繁体转换简体GB2312的代码
- TARA-基于J3061的概念阶段流程
- 程序员转项目管理,需要做什么?
- 软考中高项学员:2016年4月6日作业
- 抢跑俞敏洪,教培人“玩命”直播
- CEF 、chromium源码下载前相关代理配置
- codeforce-298B Sail(模拟)
- winform直接控制云台_299元,246g,260mm,一天销量破万的智云最新手机云台深度评测...
- 解决CentOS被wbew挖矿程序入侵的方法
热门文章
- MybatisPlus主键技巧-@KeySequence type = IdType.INPUT 优先级高于setId(XXX) 业务主键的设置方式
- Perfmon-Windows 自带检测工具(性能测试)
- STM32CUBEIDE(10)----ADC在DMA模式下扫描多个通道
- python如何画损失函数图_Pytorch 的损失函数Loss function使用详解
- python预处理缺失值_数据预处理 第3篇:数据预处理(使用插补法处理缺失值)...
- iPhone 如何设置彩信 ?
- JAVA设计模式之--模板方法模式
- 实用色轮图(赞、实用)
- 公司要IT转型,我该怎么办?python快速建站
- CAD垂直标注出现拐角的问题