2018年，100G数据中心以太网市场如火如荼，是各大光模块厂商争夺的主战场。随着各大厂商100G系列产品的日益成熟，出货量节节攀升。这些产品里既有基于III-V族传统的解决方案，也有基于硅光技术的生力军。

100G的技术门槛已经被跨越，成为数据中心旺盛需求的主流和首选，已不再是高端光模块的代名词。技术的进步日新月异，为了满足超大规模数据中心不断增长的带宽需求，大家已经把希望放在了400G光模块上。400G光模块被业界普遍认为是一种可以有效降低带宽成本的解决方案。

前不久，CAICT中国信通院发布《2018年数据中心白皮书》，其中预计 2019 年 400G 光模块将规模化部署。

据 ODCC 统计，截止 2017 年底，微模块数据中心的部署量已从 2013 年的 300 套增长到 4500 套，相当于 5 万多个 20A机架规模，预模块数据中心完成 9100 个 40A 整机柜的部署，相当于1.8 万个 20A 标准机柜，模块化数据中心累计完成约 7 万个标准机架的部署，容纳服务器能力超过 100 万台。运行 6 年来安全稳定，平均PUE 下降 0.2-0.4，运行成本降低 20%-40%，节能降支效果非常明显，对数据中心产业模块化、绿色化具有很强的带动和引领作用。

持续的新建与改造数据中心，刺激了光模块市场需求，光模块市场规模不断扩大。40G 和 100G 正逐渐广泛应用，400G 研发量产提速。作为数据中心交换机互联技术，光模块经历了 10G->40G->100G 的变迁，目前新建或改造数据中心较多的应用 40G 和 100G 光模块。同时，为抢占市场先机，各厂商加快 400G 光模块的研发速度。

（图为Finisar展示400G光模块）

在 2018 年美国 OFC 光纤通讯展览会上，包括海信宽带、光迅科技、Finisar、Mellanox、旭创科技等在内，超过10 家公司对 400G 光模块进行了现场的展示。目前，部分公司已经将400G 光模块送样测试，且具备量产能力。预计 2019 年 400G 光模块将规模化部署。

作为数据中心400G光模块的解决方案，目前两大主流的封装形式是OSFP和QSFP-DD。OSFP和QSFP-DD同样在电接口上提供了8个传输通道，支持25GBaud波特率的PAM4信号（50Gb/s），因此可以实现8x50Gb/s=400Gb/s的信号传输。

OSFP的尺寸比QSFP-DD稍微宽一些，也更长一些，因此占用了交换机更多的PCB表面面积。在交换机每1U面板上OSFP可布置32个端口，而QSFP-DD的则可以布置36个端口。因此从交换机带宽能力上讲，选用QSFP-DD可以多出4个端口。而且QSFP-DD还有与QSFP和QSFP28的向后兼容性。

从这两点上来看，QSFP-DD的未来似乎更加光明。然而更小尺寸的QSFP-DD封装形式，对于模块的设计要求更高，这就对模块内部的器件封装，模块的性能，功耗，良率都提出了更高的要求，从而可能会导致模块成本的升高。目前不同的客户群体对两种封装的模块均有需求，还难以看出哪种封装更具有绝对性的优势。

（图为万兆通400G QSFP28 CWDM4光模块）

在未来的400G光模块市场，谁能率先“抢滩登陆”，谁就能把握先机，先入为主。为了满足不同客户的需求，400G QSFP-DD和OSFP模块系列产品的开发工作已在进行。相信不久的将来，400G 光模块将会迎来温暖的“春天”。

近日，思科公司为其Nexus系列以太网交换机增加四款400GbE型号，并宣布将在年内进行现场测试，预计明年上半年正式发售。博通也发布了400G PAM-4 PHY芯片BCM87400。看来，400G的时代即将来临。

思科公司数据中心业务总经理，高级VP Roland Acra表示，思科的400G交换机不仅仅为客户提供了更高的速率，还为客户带来了强大功能。包括超快策略，分段和白名单，数据包的实时可视，数据流和事件，面向大数据和机器学习工作负载的智能缓冲，以及能够按需优先调度关键流量等功能，以满足现代数据驱动型工作负载和云环境的需要。这些400G型号也延续了Nexus交换机的超快策略，分隔化，实时数据包可视性等诸多特性。

思科的400GbE交换机包括：

1. Nexus 9316D-GX，1RU，16端口交换机，可以很好适合应用中心架构ACI的脊型应用；

2. Nexus 93600CD-GX，1RU，28端口100GbE和8端口400GbE，支持脊叶架构的叶形应用；

3. Nexus 3408-S，4RU,8插槽，支持128个端口100GbE或者32端口400GbE；

4. Nexus 3432D-S，1RU，32端口 10/40/100/400GbE，和扇出的2x200GbE和4x50/100GbE；

思科新推出的 Nexus 交换机为客户使用 400G 提供了最全面且可定制的方法。其具备的优势包括：

专为要求最苛刻的环境而构建：全新的 400G 交换机用于提供 Nexus 交换机产品组合赖以成名的强大功能，并以全线速运行。该功能包括用于提供更深入的应用可视化、实时分析和故障排除能力的高级遥测功能，以及专门针对横向扩展应用流量进行调整的智能缓存功能。

此外，客户还可以将交换机与思科领先的以应用为中心的基础设施（ACI）、Tetration 和网络保障引擎（Cisco Network Assurance Engine）相集成。这将帮助他们进一步提高应用敏捷性，提高数据中心安全性和自动化能力，将 400G 功能带入基于意图的网络。

专为提供客户选择和出色灵活性而设计：灵活的部署选项能够支持各种规模的公司轻松满足其特定需求和工作负载。无论是互联网公司，高密度运行或基于意图的网络，亦或是专门使用的应用，客户都可以选择最适合的选项以满足他们的需求。

持久耐用： 思科与合作伙伴及第三方机构积极合作，推动 400G 实现标准化和可互操作性。思科在最近的 400G 行业互操作性测试中，与互联和测试解决方案合作伙伴合作，针对 400G 展示了经济高效的 100G lambda 光学模块。

思科将在 2018 年 12 月开始与客户进行早期现场试验（EFT），并为 IT 机构提供规划时间以尽快启动试验。全新的思科 Nexus 交换机将于 2019 年上半年全面上市。

同时，继之前宣布其12.8Tbps TomaHawk 3 400GbE交换芯片进入全面量产后，博通又于11月8日推出了其针对数据中心和云架构的7nm工艺400G PAM4PHY芯片BCM87400。该芯片基于博通最新的7nm Centenario 112G PAM-4 DSP平台，提供第一流的400G 8:4 gearbox和低功耗性能，确保超级数据中心和云网络的400GbE 链路部署。

BCM87400系列器件具有业界最高性能和最低功耗的单芯片400GbE PAM4 PHY收发器平台能力，在DR4/FR4/LR4光学链路中可驱动基于56Gbaud的112 Gb/s PAM4四通道。在400GbE模式中，BCM87400可将系统端的53 Gb/s (基于26-Gbaud PAM4)八通道转化为106 Gb/s（基于53Gbaud PAM4）四通道。BCM87400的出现充实了市场领先的PAM4 PHY技术平台，并率先向业界演示基于7nm CMOS工艺运作的400G PAM-4 PHY收发器有效案例。

BCM87400型号更多特征包括：

1、“业界领先”的DSP性能和功率，使得DR4/FR4光模块满足IEEE标准和MSA规范。

2、支持传统交换机应用的DR/FR光模块

3、客户侧接口符合CEI-28G / 56G LR规范，可支持长距离（LR）通道

4、符合IEEE 802.3bs标准KP4和端到端FEC旁路运作

5、一种可支持多个光学前端，例如EMLDML和硅光子的PAM4架构

6、采用28-Gbaud PAM4 和NRZ SerDes架构，可优化博通交换机ASICs和ASSPs的互操作性。

 应用领域：

1、超大云数据中心网络

2、有线基础设施

3、400Gb/s QSFP-DD/PSFP光模块

网络作为HPC系统主要组成部分，其组网方式、时延和带宽都决定着系统性能，针对HPC方案，笔者总结梳理了“高性能计算(HPC)技术、方案和行业全面解析”电子书，目录如下：

《高性能计算(HPC)技术、方案和行业全面解析》

• 第1章 HPC行业和市场概述 7

• 1.1 HPC主要场景和分类 9

• 1.2 HPC系统主要组成 11

• 1.3 HPC IO业务模型 12

• 1.4 HPC系统架构演变 13

• 1.5 HPC市场的主流玩家 14

• 1.5.1 HPC存储厂商分类 15

• 1.5.2 Burst Buffer介绍 15

• 1.5.3 Panasas和Seagate介绍 17

• 1.5.4 主流并行文件系统 17

• 1.6 HPC对存储的主要诉求 19

• 1.7 HPC系统的衡量标准 20

• 1.8 HPC未来的技术趋势 22

• 第2章 HPC场景的存储形态 23

• 2.1 HPC为何是NAS存储 23

• 2.2 本地存储引入的问题 23

• 2.3 HPC主要的存储形态 25

• 第3章 Lustre文件系统解析 26

• 3.1 Lustre文件系统概述 26

• 3.2 Intel Lustre企业版开源策略 26

• 3.3 Lustre文件系统架构 27

• 3.4 Lustre Stripe切片技术 30

• 3.5 Lustre 的IO性能特征 34

• 3.5.1 写性能优于读性能 34

• 3.5.2 大文件性能表现好 35

• 3.5.3 小文件性能表现差 35

• 3.6 Lustre小文件优化 36

• 3.7 Lustre性能优化最佳实践 38

• 第4章 GPFS文件系统解析 39

• 4.1 GPFS文件系统概述 39

• 4.1.1 GPFS文件系统架构 40

• 4.1.2 GPFS文件系统逻辑架构 41

• 4.2 GPFS文件系统对象 42

• 4.2.1 网络共享磁盘NSD 42

• 4.2.2 集群节点及客户端节点 43

• 4.2.3 仲裁Node和Tiebreaker磁盘 43

• 4.3 GPFS集群仲裁机制 43

• 4.3.1 仲裁节点机制 44

• 4.3.2 仲裁磁盘机制 44

• 4.4 GPFS Failure Group失效组 44

• 4.5 GPFS文件系统伸缩性 45

• 4.6 GPFS文件系统负载均衡 45

• 第5章 Spectrum Scale架构详解 46

• 5.1 Spectrum Scale云集成 48

• 5.2 Spectrum Scale存储服务 49

• 5.3 Spectrum Scale交付模型 50

• 5.4 Spectrum Scale架构分类 51

• 5.5 Spectrum Scale企业存储特性 52

• 5.5.1 Spectrum Scale数据分级至云 52

• 5.5.2 Spectrum Scale RAID技术 53

• 5.5.3 Spectrum Scale Active文件管理 53

• 5.5.4 Spectrum Scale快照技术 53

• 5.5.5 Spectrum Scale Cache加速 54

• 5.5.6 Spectrum Scale分级存储管理 55

• 5.5.7 Spectrum Scale文件和对象访问 56

• 5.5.8 Spectrum Scale加密和销毁 57

• 5.6 Spectrum Scale虚拟化部署 57

• 5.7 Spectrum Scale LTFS带库技术 58

• 5.8 Elastic Storage Server 61

• 第6章 BeeGFS文件系统解析 62

• 6.1 ThinkParQ介绍 62

• 6.2 BeeGFS操作系统兼容性 63

• 6.3 BeeGFS系统架构 63

• 6.3.1 管理服务器介绍 64

• 6.3.2 元数据服务器介绍 65

• 6.3.3 对象存储服务介绍 66

• 6.3.4 文件系统客户端 67

• 6.4 BeeGFS安装和设置 68

• 6.5 BeeGFS调优和配置 69

• 6.6 BeeOND Burst Buffer 69

• 6.7 BeeGFS配额特性 72

• 6.8 BeeGFS的Buddy镜像 73

• 6.9 BeeGFS支持API概述 75

• 6.10 BeeGFS系统配置要求 75

• 6.10.1 存储服务器配置 76

• 6.10.2 元数据服务器配置 77

• 6.10.3 客户端服务器配置 77

• 6.10.4 管理守护进程配置 78

• 6.11 BeeGFS支持的网络类型 78

• 6.12 通过NAS导出BeeGFS 78

• 6.13 BeeGFS生态和合作 79

• 第7章 主流HPC产品和解决方案 82

• 7.1 DDN存储解决方案和产品 82

• 7.1.1 DDN S2A平台和产品 83

• 7.1.2 DDN SFA平台和产品 85

• 7.1.3 DDN WOS平台和产品 86

• 7.1.4 DDN Scaler系列网关产品 87

• 7.1.5 Burst Buffer加速产品 91

• 7.1.6 FlashScale全闪存产品 93

• 7.2 希捷存储解决方案和产品 96

• 7.2.1 ClusterStor产品架构 99

• 7.2.2 ClusterStor Manager介绍 100

• 7.2.3 ClusterStor配置扩展方式 101

• 7.2.4 ClusterStor存储软件集成架构 104

• 第8章 Burst Buffer技术和产品分析 107

• 8.1 Cray DataWarp技术和产品 107

• 8.1.1 Burst Buffer场景匹配 109

• 8.1.2 Burst Buffer技术架构 110

• 8.1.3 Cray技术演进蓝图 113

• 8.1.4 Cray HPC方案和产品 114

• 8.2 DDN Burst Buffer产品 117

• 8.2.1 IME产品架构 117

• 8.2.2 IME14KX产品介绍 120

• 8.2.3 IME240产品介绍 121

• 8.3 EMC Burst Buffer产品 122

• 8.3.1 aBBa产品架构 123

• 8.3.2 aBBa软件堆栈 124

• 第9章 HPC主流网络和技术分析 126

• 9.1 InfiniBand技术和基础知识 126

• 9.1.1 IB技术的发展 126

• 9.1.2 IB技术的优势 127

• 9.1.3 IB网络重要概念 129

• 9.1.4 IB协议堆栈分析 130

• 9.1.5 IB应用场景分析 134

• 9.2 InfiniBand技术和架构 135

• 9.2.1 IB 网络和拓扑组成 135

• 9.2.2 软件协议栈OFED 139

• 9.2.3 InfiniBand网络管理 140

• 9.2.4 并行计算集群能力 141

• 9.2.5 基于socket网络应用 142

• 9.2.6 IB对存储协议支持 142

• 9.2.7 RDMA技术介绍 143

• 9.3 Mellanox产品分析 143

• 9.3.1 Infiniband交换机 145

• 9.3.2 InfiniBand适配器 148

• 9.3.3 Infiniband路由器和网关设备 149

• 9.3.4 Infiniband线缆和收发器 150

• 9.4 InfiniBand和Omni-Path之争 151

• 9.4.1 Intel True Scale Fabric 软件架构 152

• 9.4.2 Intel InfiniBand产品家族 154

• 9.4.3 Intel Omni-Path产品介绍 155

• 9.4.4 Omni-Path和InfiniBand对比 156

• 第10章 HPC超算系统排名和评估 160

• 10.1 TOP500基准介绍和排名规则 162

• 10.2 Green500基准介绍和排名规则 165

• 10.3 HPC超算系统其他评估基准 167

• 10.3.1 GTC-P应用基准 173

• 10.3.2 Meraculous测试基准 173

• 10.3.3 MILC测试基准 174

• 10.3.4 MiniDFT测试基准 174

• 10.3.5 MiniPIC测试基准 174

• 10.3.6 PENNANT测试基准 175

• 10.3.7 SNAP测试基准 175

• 10.3.8 UMT测试基准 175

• 10.3.9 Crossroads/N9 DGEMM基准 175

• 10.3.10 IOR BenchMark基准 176

• 10.3.11 Mdtest测试基准 176

• 10.3.12 STREAM测试基准 176

更多架构师技术关知识请参考“架构师技术全店资料打包汇总(全)”电子书(32本技术资料打包汇总、详解目录和内容请通过“阅读原文”获取)。

温馨提示：

请识别二维码关注公众号，点击原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。