揭秘太湖之光

基于DEC 的 26010 的处理器的产品技术源于 DEC Alpha  21164 处理器.http://server.zol.com.cn/592/5926903_all.html#p5934510

1946年，由美国军方定制的电子计算机“ENIAC”面世，当时的这个“大家伙”每秒可执行5000次加法或400次乘法运算。经过了70年的发展，超算的运行速度已经达到亿亿次/秒级别。在今年6月的ISC 2016上，TOP500公布了新一届世界冠军：神威·太湖之光。有人不禁会问，这款超算究竟有何能力超过天河二号？国产处理器申威26010，又是怎样的秘密武器？

神威·太湖之光

超算界的角斗场：TOP500

自1993年以来，国际TOP500组织每年都会按照Linpack测试性能公布全球已部署的前500台超算，每年会有两次排名，旨在促进超算领域的交流和合作，推广应用。由于在2002年之前，中国HPC（高性能计算）未曾向国际申报过Linpack结果，因此没有被列入TOP500。后来，随着相关机构陆续开放测试，中国开始在国际超算市场崭露头角，迅速成为前10名的常客。

Linpack最早在1974年4月被使用，是当前最流行的用于测试高性能计算机系统浮点性能的基准，通过超算求解N元一次稠密线性代数方程组的方式做出评估。Linpack测试包括Linpack100、Linpack1000和HPL。其中，HPL被称为高度并行计算基准测试，是针对现代并行计算机提出的测试方式，应用范围更广。

计算峰值是衡量计算机性能的一个重要指标，所谓的浮点计算峰值分为理论值和实测值，前者是计算机理论上每秒能完成浮点计算的最大次数，主要由CPU主频决定，后者是Linpack测试值，即在计算机上运行Linpack测试程序，通过一系列调校得到的最优测试结果。

在德国法兰克福举行的第47届国际超算大会上，一串带有中国特色的英文“TaiHuLight”成了全场焦点，它的官方名称是“神威·太湖之光”。这款超算以93Petaflops的Linpack峰值能力压天河二号，领跑TOP500，与它一起出名的，还有国产处理器申威26010。值得一提的是，中国上榜的HPC数量（167台）也首次超过了美国（165台）。

太湖之光登顶TOP500

除了排在前两位的太湖之光和天河二号，第四至十名的超算依次为泰坦、Sequoia红杉、日本K京、Mira、Trinity、Piz Daint、Hazel Hen和Shaheen II。根据官方的说法，中国是继美国、日本之后，全球第三个采用自主CPU建成千万亿级别超级计算机的国家。

作为曾经的TOP500六冠王，这里也有必要提一下天河二号，其由国防科大研发，落户在广州超算中心，搭载英特尔Xeon处理器，运行的是基于Linux的麒麟系统，创新性地采用了异构融合体系结构。天河二号的计算节点能耗约为18兆瓦，加上散热系统的整体能耗在20兆瓦以上。

初识“太湖之光”

事实上，今年的ISC并非是神威家族的首秀，2011年曾经有一个神威蓝光系统，被安装在济南的国家超级计算中心，当时在TOP500上排名第14，所使用的申威SW1600是第三代16核芯片。上线五年之后，在863计划的支持下，中国国家并行计算机工程技术国家研究中心（NRCPC）推出了更强大的申威SW26010处理器，帮助太湖之光夺取了冠军。

太湖之光搭载申威26010众核处理器，运行速度超过10亿亿次/秒，峰值性能12.54亿亿次/秒，持续性能达到9.3亿亿次/秒，功耗比达到每瓦特60.51亿次运算。与天河二号相比，持续计算速度提升了近3倍，测试功耗却更低（15371KW，天河二号为17808KW）。在Linpack测试中，太湖之光用4个小时就完成了天河二号20多个小时才能完成的运算任务。

申威26010处理器，主板为双节点（图片来自Jack Dongarra）

太湖之光的整机效率达到74.16%，相比之下泰坦为65.19%、天河二号为55.83%，这在性能愈强、规模愈大的情况下，是很不容易的。性能功耗比方面，太湖之光的成绩为6G/W，泰坦为2.143G/W，天河二号为1.95G/W。此外，太湖之光在Green500也跻身三甲，考虑到排在前两位的超算搭载的是低功耗英特尔E5，因此这一成绩值得肯定。

整体来看，太湖之光的架构应该是沿用了蓝光的MPP（大规模并行处理）分布式方案，更符合传统的HPC应用，效率更高。太湖之光由40个计算机柜组成，每个机柜有4个SuperNode（256个节点组成），共拥有40960个节点，每个节点单CPU有260个核心，主板为双节点设计，每个CPU固化的板载内存为32GB DDR3-2133。

太湖之光机柜组成（图片来自Jack Dongarra）

可嵌入四块双节点主板，正反各两块（图片来自Jack Dongarra）

超级节点Supernode（图片来自Jack Dongarra）

此外，太湖之光运行的是基于Linux的Sunwei Raise OS 2.0.5操作系统，配有兼容众核的编译器，支持Fortran、C/C++、OpenACC 2.0等语言，以及神威OpenACC编译工具。互联方面，其选择了PCI-E 3.0物理链路，软件协议是自主的Sunway Network。在PCI-E嵌入的交换芯片会被当作虚拟网卡使用，这就使得各节点有了独立的IP。

太湖之光软件堆栈（图片来自Jack Dongarra）

太湖之光互联架构（图片来自Jack Dongarra）

太湖之光整体布局（图片来自Jack Dongarra）

至于机房摆放，太湖之光采用了两侧各20个计算机柜和存储机柜、中间单列网络系统机柜的布局，占地面积605平方米。

国产申威26010的秘密武器

除了太湖之光夺冠，其实更令人兴奋的是其采用了国产处理器申威26010，可以说有着一定的历史意义。2015年4月，美国商务部发布公告，决定禁止英特尔向四家国家超级计算机中心出售Xeon Phi处理器。而在此之前，曾经的TOP500冠军天河二号采用的就是Xeon系列处理器。这意味着，天河二号将无法继续使用英特尔提供的用于升级系统的新款芯片。

然而，申威26010的出现击碎了外界对于国产化的质疑。与此同时，这款处理器也带来了一个“新名词”：众核。超算界早已对以GPU、众核为代表的异构计算持开明态度，GPU应用的场景越来越多，在算法上也有了更多的支持。从长远来看，异构集群对超算的重要性会加大，在确保灵活性和软件兼容性的前提下，追求更高的性能和更低的功耗。

一直以来，HPC的发展离不开军用和科研，太湖之光也不例外。事实上，申威在业内早有耳闻，但为什么外界鲜有人知呢？主要原因或许就是军方背景。申威系列芯片的研发单位是江南计算机所（即总参某部56所），而申威26010就是在国家高性能集成电路（上海）设计中心生产，被部署于无锡国家超级计算中心。总参某部56所创建于1951年6月，位于无锡。

申威最初的技术来源是DEC公司开发的Alpha 21164，后者在1995面世，采用0.5um制造工艺，主频为200MHz。不过，随着技术研发的深耕，江南所拓展出了自主的申威-64指令集，摆脱了Alpha的影子。

申威26010采用了“CPU+加速器”的方案（管理核心+运算核心），为64位RISC（主频1.45GHz），拥有260个处理核心和4个内存控制器。处理器内包括四个核心组，每组有65个内核，由8×8 Mesh架构计算集群（CPE）、一个管理单元（MPE）、一个内存控制器（MC）组成。其中，MPE和MC也可以被当作独立的处理核心，前者负责系统管理和通讯，后者则用于浮点运算，单个内存（128bit的DDR3）带宽为34GB/s，因此整个处理器提供了136.5GB/s的带宽。

申威26010核心组结构（图片来自Jack Dongarra）

申威26010支持264位的矢量指令集，内置各32KB的L1指令缓存和数据缓存，以及256KB L2缓存，没有L3缓存。对于CPE来说，单条处理管线使得每个主频周期可进行8次浮点运算，浮点性能为11.6GFLOPS，而MPE则约为CPE的两倍。

申威26010节点基础设计（图片来自Jack Dongarra）

此外，申威26010可能并非采用NUMA（非统一内存访问架构）架构，这使得处理器组内之间的内容共享成为可能，在硬件方面没有缓存的一致性需求，由软件负责同步。相比之下，英特尔Kight Landing则是将缓存一致性（Cache Coherence）都交给硬件。从性能来看，申威26010的双精浮点峰值为3.06TFlops，与Kight Landing处在同一水平线。

不过，作为完全自主的国产处理器，申威26010也面临着一些问题。首先就是制造工艺，有人猜测28nm，尽管并不是官方说法，但相较英特尔的14nm还是有些落后。其次，太湖之光的HPCG（High Performance Conjugate Gradients）成绩也一般，峰值效率为0.3%，低于天河二号的1.1%。

太湖之光的HPCG成绩不理想（图片来自Jack Dongarra）

对于HPCG测试，可能是内存和互联宽带拖了后腿。前面提到过，申威26010采用的是DDR3，而英特尔Kight Landing已经用上六通道DDR4，Xeon Phi的内存带宽达到了512GB。虽然太湖之光在Linpack上大幅领先，但在HPC的适用性方面就会有些下降。总的来说，申威26010在计算能力上的优势有目共睹，不过由于更偏向军用，因此部分功能经过了特殊调校，应用范围有一定的局限。

超算之路不平坦 太湖之光只是开始

从天河系列的70%国产化，到神威蓝光的85%以上，再到如今完全自主、耗时三年研制的神威太湖之光，中国超算在美国芯片禁运的“倒逼”下，已经跨出了历史性的一步。值得一提的是，基于太湖之光系统的三项全机应用还入围了有超算界诺贝尔之称的“戈登贝尔奖”。该奖项自1987年设立以来，中国团队从未入围过。

在国家863计划的支持下，作为“国之重器”的超级计算机在工业制造、航天、军事、医学、科研等领域将发挥更大的作用，并且会助推深度学习、人工智能的发展。未来，太湖之光将在四个方向发挥作用：全球高分辨率模拟，为气候变化研究提供量化研究的基础；先进制造，助力“中国制造”转向“中国创造”；生命科学，为研发新药和探索生命奥秘提供支撑；大数据分析。

举例来说，国家超级计算无锡中心与清华大学、北京师范大学合作，在太湖之光上进行了CAM全球大气模式的重构与优化，以及全球超高分辨率大气模式实验框架。其中，大气模式实验框架已初步实现了3公里精度，仅次于日本NICAM 870米的分辨率。清华大学计算机科学与技术系副教授薛巍表示：“有了这套计算机系统，我们可以在30天内完成未来100年的地球气候模拟，全面提升我国应对极端气候事件和自然灾害时的减灾防灾能力。”

大气模式实验框架（图片来自国家超级计算无锡中心）

借助太湖之光，国家计算流体力学实验室对“天宫一号”返回路径进行了数值模拟计算，将为其返回提供精确预测；上海药物所开展的药物筛选和疾病机理研究，两周内就完成了原本需要10个月的计算，加速了白血病、癌症、禽流感等疾病的药物设计进度；此外，太湖之光还将在“高分辨率海浪数值模拟”和“钛合金微结构演化相场模拟”方面做出巨大贡献。截至目前，国家超级计算无锡中心已经与北京大学、中科院软件所、中船重工702所、远景能源、清华大学、国家计算流体力学实验室等国内30多家机构或单位建立了应用合作关系。

除了国家级研究机构的贡献，以联想、曙光等为代表的中国企业也在超算领域有着很好的表现。最新一期TOP500中，联想就以92套获得了全球超算份额第二、中国第一的成绩。未来，超算将朝着高性能、低功耗的方向继续拓展，芯片设计、任务分配、算法优化、应用范围、散热系统等依然是努力的重点。

当然，在欢喜的同时，中国超算的配套硬件和实际应用仍有较大的提升空间，太湖之光的成绩固然亮眼，但应用数量还不能与天河二号相比。软件方面，太湖之光解决特定领域的问题可以，毕竟都是专为申威处理器优化过的，但要涉及商业或其他领域，就必须考虑兼容性。目前，国内超算研发经费中用于开发应用软件的占比不到10%，而美国则在30%以上。如果不能融入商业用途，其实也是一种资源浪费。

自1983年的“银河一号”诞生以来，中国超算从一片空白，到自主研发领跑全球，其中的巨大进步值得赞誉，这是成为科技强国的必经之路。而一路走来，质疑之声也从未间断，但无论怎样，每一项技术创新都会有学习的过程，不怕起步晚、走弯路、困难多，有了完全自主的技术支持，太湖之“光”将让中国超算更加闪耀。

（注：本文部分技术内容来自知乎网友Sean、yuan zhao、瞭望智库，以及美国田纳西大学橡树岭国家实验室Jack Dongarra博士发表的英文学术报告，Tech Report UT-EECS-16-742）

附表：（内容来自Jack Dongarra的报告）

神威太湖之光系统参数：

太湖之光、天河二号、泰坦对比：

六款超算对比：

太湖之光与英特尔KNC、KNL对比：

最新一期TOP 500前10位的超算：