书接上回：Mellanox Infiniband 架构设计快速实战指南 - A

2. Infiniband协议类型

在 Mellanox Infiniband Topology Generator 中，选定了网络拓扑后，接下来很重要的就是选定Infiniband的Data Rate，或者可以称为Infiniband协议类型。
在Wikipedia中，Infiniband历史上全部的类型包括
SDR： 2001/2003年
DDR： 2005年
QDR： 2007年
FDR： 2011年
EDR： 2014年
HDR： 2017年
NDR： 2020年之后（预计）
XDR： 2023年之后（预计）
从这项技术的产生年份可以看出，目前市场主流，同时也是Mellanox可以提供的方案包括：FDR, EDR, HDR。在役HPC中当然还可以看到40Gb/s QDR的IB交换机，但只会越来越少了。
而三种主流协议对应的rate也可以直接在这个Generator工具中看到：

FDR 56 Gb/s
EDR 100 Gb/s
HDR100 Gb/s
HDR 200 Gb/s

详细的技术细节可以参考本文附带的附件资源。

目前，根据个人观察，商业HPC的主流应用集中在100Gb/s EDR 向 HDR 过渡的阶段。受成本因素限制的小微型集群也仍会采用56Gb/s FDR技术。当然，速率的选取主要看应用对于网络传输的带宽需求，但同时也要考虑到网络拓扑，后期扩展，硬件选型，预算成本等因素。其中硬件选型可以通过本文介绍的Generator工具，或直接搜索 Mellanox Online Store 详细了解。

3. 还需要什么？

通常来说，在Infiniband设计过程中，当明确了网络拓扑和协议类型之后，可能还需要明确一些附加功能，比如是否要做QoS，是否要做Routing，是否要启用SubNet Manager，是否要启用RDMA，但这些大多属于MLNX-OS (Mellanox Operating System) 范畴，可以按需通过官方文档查询和配置。

实际集群建设过程中，还需要考虑很重要的一点就是，线缆。

Infiniband使用的线缆区别于传统的以太网线缆和光纤线缆，而是使用专用的Infiniband线缆。

总体来说，线缆根据材质分为两类：铜缆和光纤。
同时，在支持速率上也需要区分明确，即上述的QDR，FDR，EDR，HDR 线缆各自不同，需要根据选定的IB交换机适配。
而铜缆和光纤主要区别在于长度：
铜缆常见有：0.5m，1m，2m，3m
光纤常见有：1m，3m，5m，10m，20m，50m…
可见两种材质在长度上有交集，在实际选用上主要考虑的是成本，因为比如同样3m EDR IB线缆，光纤会比铜缆贵不少。因此，在长度允许的情况下，一般会有限选用铜缆，长度需求较长则选择光纤。
（另有说铜缆较光纤更为“稳定”，个人理解还是指材质的稳定，而非性能的稳定）

综上所述，在明确了Infiniband网络拓扑，交换机类型（速率、端口数），和线缆的长度、数量之后，HPC集群的Infiniband架构就基本成型啦！

最后补充一句：以上均根据个人经验和学习所得，如有遗漏或错误，欢迎补充、指正。

Mellanox Infiniband 架构设计快速实战指南 - B相关推荐

Mellanox Infiniband 架构设计快速实战指南 - A
Mellanox Infiniband作为目前高性能计算(HPC)行业高速互联网络最主流的厂商和解决方案,在HPC领域应用极为广泛,不论从规模的可扩展性,还是不同性能要求的匹配性上,都有着较完善的解决 ...
InfiniBand架构和技术实战总结
OpenFabrics Enterprise Distribution (OFED)是一组开源软件驱动.核心内核代码.中间件和支持InfiniBand Fabric的用户级接口程序. 2005年由Op ...
【CV】ShuffleNet V2：高效 CNN 架构设计的实用指南
论文名称:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 论文下载:https://arxiv.or ...
云盘数据库设计mysql_一份最实用的云数据库架构设计与实践指南（内含PPT）
原标题:一份最实用的云数据库架构设计与实践指南(内含PPT) Tips:点击文末[阅读原文]或登陆云盘:http://pan.baidu.com/s/1bo9Ni7l 即可下载5月21日DBAplus ...
百分点大数据技术团队：可插拔OSS架构设计和实战经验
编者按:随着互联网.大数据和人工智能等技术的发展,信息资源得到最大程度的共享,但随之而来的海量文件存取的功能和性能问题也日渐突出.在政务领域解决方案中,对象存储往往扮演着非常重要的角色,如全国各地的健 ...
高并发系统架构设计之实战篇34：计数系统设计之计数器设计
文章目录引言一.计数系统的业务特点二.计数系统的架构设计三.计数系统的存储小结引言在之前的课程中,我分别从数据库.缓存.消息队列和分布式服务化的角度,带你了解了面对高并发的时候要如何保证 ...
京东App秒级百G日志传输存储架构设计与实战
本文作者:平台业务研发部-武伟峰,数据与智能部-李阳背景在日常工作中,我们通常需要存储一些日志,譬如用户请求的出入参.系统运行时打印的一些info.error之类的日志,从而对系统在运行时出现的问 ...
数据安全架构设计与实战~思维导图
#原图 System.out.println("https://www.processon.com/view/link/619cccede0b34d032a78237d");
数据安全架构设计与实战~如何加密结构化数据
针对结构化数据(数据库.key-value等),加密主要有两种方式: 1.应用层字段加密,数据在入库前加密,直接向数据库中写入字段密文: 2.存储系统透明加密(静态加密),加密仅在存储系统内部自动完成 ...

Mellanox Infiniband 架构设计快速实战指南 - B

2. Infiniband协议类型

3. 还需要什么？

Mellanox Infiniband 架构设计快速实战指南 - B相关推荐

最新文章

热门文章