罗森伯格亚太电子有限公司陈凤霞

一、前言

自IT解决方案供应商SUN推出全球第一个移动式、虚拟化的数据中心Black Box起，这种将网络机架、空调、配电柜、消防、安防、监控，甚至UPS、发电机等数据中心基础设施部分或全部地集成安装到一个标准货运集装箱（20英尺、40英尺）内，从而构建一个高度集成、快速部署、灵活扩建、高效节能的集装箱式数据中心，立即在业界引起了广泛的关注。紧跟其后各大IT厂商也相继推出了各自独具特色的集装箱数据中心解决方案，如IBM（PMDC）、HP（POD）、SGI（ICE Cube）等。

模块化遵循“按需供应、灵活扩展”的需求，使数据中心的使用效率尽可能提高，在产品形式上主要有两种：微模块和集装箱式数据中心。微模块又可分为网络微模块、计算微模块、存储微模块等；集装箱数据中心模块化产品包括一体化箱、IT箱（设备箱）、支持箱（也称辅助箱），而一体化箱则是数据中心模块化的极致体现。本文将通过对比两类模块化数据中心的产业环境、产品特点、应用场合以及对综合布线的影响等方面来分析微模块与集装箱数据中心的特点。

二、模块化数据中心的产业环境

云计算、大数据的快速发展以及广泛应用，数据中心也像水电一样可以实现“按需供应”，模块化数的据中心建设恰好迎合了云计算“按需供应”的需求，根据著名咨询机构IDC公司数据中心趋势研究人员Michelle Bailey的说法，数据中心的模块化模式有望在未来5年内成为建造数据中心几乎默认的方法，模块化数据中心将成为未来数据中心发展的趋势之一。

2.1 市场环境

云计算的“按需供应”既体现在网络服务的按需供应，同时也体现在数据中心基础设施的按需供应，所有数据中心的基础设施都是根据相对应的网络业务需求来布置的，这样可以极大的提高数据中心的使用效率，这与传统数据中心在建设初期考虑大量冗余是完全不同的。然后，当新的网络业务需求产生时，传统数据中心的扩展就显得非常有优势了。而采用模块化的数据中心建设则同样能达到与传统数据中心扩展相媲美的效果，无论是集装箱数据中心还是微模块方式，只需要将相应数量的集装箱或微模块安放到位，接上市电和运营商网络（集装箱数据中心）或在各模块之间连接主干链路（微模块）即可完成网络的扩展。因此，云计算以及大数据的发展为模块化数据中心提供了良好的市场前景。

2.2 政策环境

标准规范总是滞后于技术的发展，尽管集装箱数据中心自推出以来得到了广泛应用，由于涉及到供电、消防、布线等数据中心的所有基础设施，到目前仍然没有一个完整的标准来进行规范，同时不同IT厂商提供的集装箱规格也不尽相同，这也就限制了用户在不同集装箱数据中心厂商之间的自由选择，因此在很大程度上影响了这一技术的应用和发展。对于微模块数据中心这一新兴事物，同样也遇到了相似的状况，目前仍然是以部分厂商先入为主，如目前阿里巴巴、百度和腾讯联合进行的“天蝎计划”等，微模块数据中心当前主要尚处于各个企业各自为政的阶段，在设计、建设、部署已经运维等方面尚没有统一的标准。

无论是集装箱还是微模块数据中心，其标准化是用户最关心的问题，任何产品只有实现标准化，才能形成相应的产业链、促进数据中心模块化的良性发展。目前已有相关开始着手模块化数据中心的标准化工作，我国工信部也已于2012年底正式召开了“微模块数据中心标准化研讨会”，分析了微模块数据中心标准化的现实意义，工信部这一工作将对模块化数据中心建设起到良好的推动作用。

工业和信息化部联合四部委于2013年1月9日发布了《关于数据中心建设布局的指导意见》，该指导意见提出了数据中心建设布局应遵循的四大导向，对于新建超大型、大型数据中心，重点考虑气候环境、能源供给等要素；对于新建中小型数据中心，重点考虑市场需求、能源供给等要素。“意见”更多的是要求新建数据中心降低PUE值，明确了未来政府在电价、土地等相关市场配套上对数据中心建设的支持，这对于能效比更高的模块化数据中心建设又是一个积极的政策支持。

2.3 行业环境

传统数据中心的建设往往是从土建开始，IT需求的规划则在建筑规划后进行，建筑与IT规划之间具有很强的耦合。由于IT需求的不确定性导致经常出现设计规划的变更，有些变更甚至需要对建筑结构进行特殊设计，当这些变更发生在建筑结构已经确定时，某些建筑结构的不可变更性将无法满足数据中心对建筑的特殊要求，这将直接影响数据中心的应用效果。

模块化数据中心的建设以模块为基础，而模块又是以标准机柜或标准集装箱的形式出现，数据中心建设过程中的具体变更基本上都可以在工厂得到专业的部署，而建筑物现场则只需提供满足各个模块所需水、电以及网络的标准接口，建筑物结构为标准化厂房即可，并且建筑与数据中心模块的建设可以同步进行。这一方式即可极大的节省数据中心的建设时间，同时又可灵活满足数据中心变更的要求。

模块化的另一个特点是将整个数据中心拆散为若干个以模块为单位的数据中心的迭加，除安装更便捷外，对于数据中心的分段投资也有很大优势。

三、模块化数据中心的产品特点

传统数据中心的建筑及基础设施与IT规划之间具有较强的耦合关系，这对数据中心的部署和运维都将带来一定发麻烦。模块化数据中心则是以各个功能模块为基本单元，在工厂预先将相应的设备集成在同一功能模块内、现场再将各功能模块堆叠在指定位置进行建设的。由于各类型模块集成的设备各不相同，因此微模块和集装箱数据中心的产品特点也有较大差异。

3.1 集装箱数据中心

集装箱数据中心是在一个集装箱内集成了数据中心所需的全部基础设施，如网络机架、配电柜、UPS、蓄电池、精密空调、消防、安防以及监控系统，甚至还包括备用柴油发电机组，这种一体化的集装箱数据中心只需将其接入市电和运营商网络，即可投入使用。

以带发电机40英尺一体化箱为例，通常配备5~6个45U网络机柜，每个机柜的IT负载功率密度可达到10KW以上，可容纳约250台1U高度的服务器，满足大多数政府和企事业单位等中小型数据中心建设的要求。

40英尺一体化箱内部结构示意图

随着集装箱数据中心技术的不断发展和进步，除了采用20/40英尺标准集装箱作为数据中心基础设施的安装空间外，为了满足不同规模数据中心建设的需要，市场上也出现了一些其他非标准规格的集装箱数据中心。将组成数据中心的所有元素：IT核心网络设备、供配电系统、监控系统、环境调节系统、线缆管理系统等等全部安装在一个机柜内，如艾默生网络能源提供的“ITSolution易睿解决方案”，可以看作是一体化集装箱数据中心的微型版，也正成为中小型数据中心的一个建设模式。

集装箱数据中心由于包含了所有数据中心所需的基础设施，只要接入市电和网路就可启用，具有单箱独立运行、安装便捷、运抵即用的特点。同时箱体具有优秀的密封性、表面涂有阳光反射图层、外壳加装了保温隔热材料，因此不仅适合室内运行，也可以很好的适应风雨侵蚀、光阳暴晒等室外恶劣环境。

3.2 微模块数据中心

微模块是指以若干机架为基本单位，包含网络设备、服务器、布线、消防以及监控等在内的独立运行单元，每个模块具有独立的功能、统一的输入输出接口，不同区域的模块可以相互备份，通过相关功能模块的排列组合、形成一个完整的数据中心。

计算微模块

组成数据中心的微模块全部组件可在工厂预制，并可灵活拆卸、即插即用。微模块根据业务类型划分有计算、存储、网络等三大类，计算微模块主要将关注点集中在密度上，如腾讯微模块数据中心的计算微模块采用高密配置，每个模块包含12个机架、负荷10kW/机架总负荷120kW，最多可以支持960台服务器。中密配置的微模块总负载大致是高密配置的60%左右。传统数据中心的核心网络设备来自于如思科、华为、惠普等各个不同的厂商，各厂家设备的进风方式、功耗等也不尽相同，采用网络微模块则可以很好的解决这个问题，如腾讯采用的网络微模块为10个机架、负荷8kW/机架总负荷80kW。

目前微模块数据中心采用比较多的下送风冷池或列间送风冷池方式，由于可灵活实现按需制冷，在制冷效果方面比传统数据中心更加高效，有助于降低数据中心的PUE值。

3.3 模块化数据中心布线特点

当数据中心选择模块化建设时，传统综合布线的很大部分也在模块化过程中预先部署在模块内部了。TOR网络架构将成为模块化数据中心的主要布线方案，各机柜选择交换机置顶，从而节省了大量从传统布线方案HDA到EDA之间的水平线缆，将网络维护从交换机与配线架之间的跳线连接转移到交换机与服务器设备之间，对于连接跳线的质量要求更高。以铜缆跳线为例，选择通过单体标准（Patch Cord）测试的跳线将更有利于网络的可靠性。

模块化数据中心现场将只需要部署主干链路，从核心交换到接入交换之间，无论采用TOR还是EOR的网络架构，部署工厂级制作的预端接光缆可以节省宝贵的机柜空间，加快模块化数据中心的交付，并为数据中心升级到下一代网络传输打好基础。

四、模块化数据中心的应用场景

作为数据中心基础设施的重要组成部分，将网络、供电、制冷、消防、监控等等采用模块化方案部署后，数据中心的建设方式发生了较大变化，克服了传统数据中心建设受限于建筑本身的问题，将数据中心的设计和大部分施工转移到工厂进行预先定制，将各功能模块运输到现场、以“搭积木”方式配合客户投资和业务发展需求进行搭建，从而灵活实现分期建设，大大提升数据中心效率。

用于模块化数据中心建设的各类模块在工厂进行定制，产品具有更好质量的保障，在可靠性、运营成本、节能减排、部署安装、后续扩展等方面具有更大的优势，适用于电子政务、云计算、IDC（互联网数据中心）、企业自用、海洋科考、油气勘探、军队作业及灾难恢复等多种场合。

根据模块化数据中心类型和功能的不同，本文从以下三个方面的来分析集装箱数据中心和微模块数据中心的应用差异。

4.1 数据中心的规模

根据建设面积、IT设备尤其是服务器数量的多少等，数据中心规模有超大型、大型以及中小型数据中心之分，根据布线工作组《2012年中国综合布线市场发展报告》中的相关数据，500平方及以下中小型数据中心建设的比例超过57%，可见中小型数据中心将成为数据中心建设的主体。对于面向当地、以实时应用为主的中小型数据中心，依据市场需求灵活部署是其主要特征，综合了整个数据中心所有元素的一体化集装箱数据中心（及机柜式数据中心），因其具有即插即用的特点，相比较微模块具有更大的优势。

相比而言，大型和超大型数据中心的建设一般都将分阶段进行，用于建设数据中心的建筑也具有一定的规模。一个40英尺的集装箱数据中心重量可达30吨，这样的庞然大物搬运到建筑物内是非常困难，而室外空地安装又需要占用太多的场地，对于像北上广、珠三角、长三角洲地区将难以承受昂贵的土地租金。微模块的产品形态恰巧符合国内行情，因其将数据中心所需的基础设施分别部署在几个独立的机柜内，运送到现场后再进行简单的拼接即可，因此更适合大型及超大型数据中心的模块化建设。

4.2 不同行业数据中心

由于业务需求不同，不同行业数据中心对于网络设备的要求也存在非常大的差异。如金融行业直接面对的就是终端用户，可靠性和实时性、尤其是可靠性其数据中心最为关注；对于教育、政府机构的数据中心，要么其用户对象具有一定的技术知识、容易发起主动***和病毒***，要么由于涉及到多个部门、多个应用系统以及服务器多样化，因此这类数据中心更关注网络的安全性；相对来说互联网数据中心由于大量采用虚拟化技术，在网络带宽、系统可靠性以及网络安全性方面都具有较高的要求。

每个行业对于数据中心都有其独特的要求，金融行业数据中心对于存储的要求更高，且升级扩容周期较短，同时为了充分利用最新制冷技术Freecooling，采用传统方式建设其数据中心具有较大的优势，适当采用微模块将使其数据中心的建设更加优化。相比较来说，政府数据中心由于涉及到不同的部门，集装箱数据中心即可满足不同业务部门的应用需求，同时又能促进政府数据中心的标准化、规范化。而互联网企业数据中心建设多采用模块化建设，一个或几个微模块支持某一类型的应用，当新应用功能出现时，相应的增加新数据中心微模块，如谷歌、腾讯、百度等都开始采用微模块方式建设其数据中心。

微模块数据中心

4.3 移动性数据中心

对于一些特殊应用场合，如油气勘探、海洋科考、军用、受灾地区等，其数据中心应用的场景环境更加恶劣。为确保其能适应野外恶劣的使用环境，数据中心不仅要求可以频繁移动、快速部署，还在抗震、减震、耐腐蚀以及维护保养方面提出了更高的要求。经过特殊设计的集装箱数据中心是这里场合最理想的选择，如2008年汶川地震后，SUN公司同年11月底向中国民政部国家减灾中心捐赠的模块化数据中心SunMD D20，D20可同时容纳支持x64、CMT以及用于减灾应用数据处理、分析的SPARC Enterprise M5000服务器，存储容量配置将近200TB，以帮助中国政府有效提高国家综合减灾、抗灾能力。

运输中的Sun集装箱数据中心

五、模块化数据中心面临的挑战

尽管模块化数据中心在建设周期、成本投入以及能源效率等方面有着传统数据中心建设无与伦比的优势，然而市场数据中心建设仍然还是以传统方式为主导，模块化数据中心虽然已经有不少企业开始研究部署，但规模都不大、尚处于奠定基础的阶段，离市场产业化还有很远的路要走。

导致这一结果的原因除用户观念以及尚未看到明显的经济效益之外，模块化数据中心本身存在的缺陷也是用户考虑的重要方面。

无论集装箱还是微模块数据中心，模块内的服务器都存在一定的定制化，一旦数据中心模块在工厂预先定制之后，内部设备的变更就比较麻烦，这对客户在设备方面的选择产生了一定的限制作用。

由于国家对模块化数据中心尚无相关的标准，且这类数据中心的改造成本以及耐用性尚未得到验证，当3-5年后IT产品更新换代时期到来时，企业面临是改造还是更换数据中心的问题。尤其是集装箱数据中心，选择改造用户需要考虑集装箱本身的寿命，而重新购置新的集装箱则让企业没有继续投资的热情。

另外，模块化数据中心因其整体体积大、重量沉也给施工带来了一定难度。空间有限也是制约模块化数据中心发展的一大因素，局促的空间为数据中心的日常维护带来很大的麻烦。

六、结束语

任何新技术的应用都不可能一帆风顺，尽管模块化数据中心的发展受到了一定的制约，但我们也乐观的看到越来越多的企业投入到它的研究与设计中去，从传统的IT服务器企业，如IBM、HP、华为、中兴；数据中心能源、制冷解决方案，如艾默生；数据中心运营企业，如世纪互联、亚马逊；以及传统的数据用户，如谷歌、腾讯等。

随着越来越多的企业加入模块化数据中心研发和推广，以及我国信息化的不断发展和深入，包括布线工作组在内的第三方机构都认为模块化数据中心将在5年内成为数据中心发展的主流，模块化将成为未来建设数据中心的发展趋势。

参考文献：

1、集装箱式数据中心应用指南，中国数据中心产业发展联盟

2、浅析微模块数据中心的关键技术，郭亮

3、2012年中国综合布线市场发展报告，布线工作组

4、浅析模块化数据中心新思路，朱华