新架构让数据中心犹如PC

摘要：随着VL2网络拓扑结构带来了对等带宽，大量数据可以存放在远方的数据中心，访问起来却犹如它们就在本地，这将对数据中心的架构产生重大影响。Todd Hoff参加了Hot Interconnects大会，对微软VL2架构做了详细解读。CSDN摘译如下：

【CSDN编译】已经有越来越多人的达成共识，对于整个世界而言Google的数据中心就是一台计算机。计算机的所有硬件资源（CPU、内存、存储）都是可替代的，身处两地的硬件也是可以互相替换的，计算机不再有明确的所有人，它已经进化成服务的一部分。

FDS架构

Google是怎么做到的呢？正是采用了已经被验证过的系统架构和技术，帮助数据中心带来了深不可测的性能提升。MapReduc就是其中最著名的技术，被广泛应用于存储节点。

此外，采用了全新的网络拓扑，并使用全新的软件架构，这样你就可以将数据自由的存储在任何你希望它在的地方。数据中心俨然变成了计算机。

在服务器端，每个节点拥有8个PCI-E 3.0接口，提供高达每秒8GB的双向带宽，我们有足够的I/O来延续摩尔定律，饥饿的CPU野蛮的吞噬着数据包。未来，SoC将集成网络接口，提供更快的速度。

接下来的挑战是让网络如何工作。今年5月，微软利用分布式系统FDS创造了新的MinuteSort世界纪录（速度比采用Hadoop架构的Yahoo快了三倍，所用硬件资源只有后者1/6。），它展示了如何提供对等带宽（bisectional bandwidth）的方法，让每台计算机之间都能全速传输数据，这让数据存储在遥远的地方变得可能，数据不需要必须存储在当地的数据中心中。

建立一个负担得起的对等网络是需要绞尽脑汁选择方法的。基本的原则包括改变协议，更换路由器，或者更换主机托管商。微软给出的答案是更换托管商，并增加了集中控制层。

微软在VL2中详细说明了这一改变，VL2是一套可扩展并十分灵活的网络架构：

一个可用的网络架构可以通过扩展支持巨大的数据中心，并保证统一的高容量带宽，各个服务器拥有独立的带宽。VL2使用：（1）扁平寻址，这可以允许服务实例被放置到网络覆盖的任何地方，（2）负载均衡将流量统一的分配到网络路径，（3）终端系统的地址解析拓展到巨大的服务器池，并不需要将网路复杂度传递给网络控制平台。

VL2的核心思想是使用CLOS拓扑结构建立扁平的第二层网络。这样做的好处是，虚拟机在数据中心内任意移动，都永远不用改变IP地址。关于网络第二层ARP广播问题，通过改变ARP，并集中注册服务来解决。将不再产生广播风暴。

这种方法看上去很奇怪，不过我参加了Hot Interconnects大会，关于VL2的整个方案充满智慧。方案的成果显而易见，成本低、高带宽以及更低的东西部间的延迟，这一切都基于先进的软件架构。不过它不支持任意路由vSwitch的方法这一特性，这意味着你不能采用未来可能出现的效率更高的拓扑结构。

微软已建立FDS基准代码，并在其基础上发布了Blob Storage系统：

值得一提的是，在我们的系统中没有计算节点使用本地存储的数据，我们相信FDS系统极具竞争力。总过1470GB数据全部存放在远程，在一分钟内总共传输了4.4TB数据。

FDS总是在网络上发送数据。FDS采取两种方式减少数据传输成本。首先，我们给每个存储节点开通的网络带宽与其存储带宽匹配。SAS磁盘的读取性能达到120MB/s，或约1Gb/s，所以在FDS集群存储节点总是至少提供1Gb的网络带宽。第二，我们在存储节点与计算节点间使用了对等带宽网络，即CLOS拓扑结构，在Monsoon项目中采用了这一架构。这两种方式将在远程的CPU和磁盘间融合建立互补干扰的通道，使系统的总I/O带宽基本上等同于使用本地存储系统，如MapReduce。FDS其性质允许任何计算节点访问任何数据，并具有同等的吞吐量。

作为分布式文件系统FDS已经成为数据中心核心的架构组件。

通过10/100 Gbps网络和VL2以及FDS技术，我们取得了不错的进展，数据中心资源池内的CPU、内存、存储均做到可替换。但网络仍然是不可替代的，尽管我并不确认这意味着什么。 SDN将帮助网络成为第一级对象，但是由于性能的原因，网络永远不能真正的与拓扑结构脱离。

新架构让数据中心犹如PC相关推荐

演讲实录丨周斌：人工智能推动新基建和数据中心的技术革新
2020-09-09 21:54:49 7月25日-26日,在中国科学技术协会.中国科学院.中国工程院.浙江省人民政府.杭州市人民政府.浙江省人工智能发展专家委员会指导下,由中国人工智能学会.杭州市余 ...
【Cloudaily】马云启动“NASA”计划，Facebook推新服务器改造数据中心
Cloudaily网罗新鲜要闻,每日为你呈现大数据和云计算领域热点新闻.本次内容播报如下: Google AI子公司采用区块链技术来跟踪英国的健康数据 Google子公司DeepMind Health ...
《上海市产业绿贷支持绿色新基建（数据中心）发展指导意见》印发了
上海市经济信息化委关于印发<上海市产业绿贷支持绿色新基建(数据中心)发展指导意见>的通知沪经信节[2020]652号各数据中心企业.金融单位: 为贯彻落实市委市政府关于推进上海特色&q ...
Criteo公司在上海新开通一个数据中心
日前,美国效果营销科技企业Criteo公司在上海开通了其数据中心.新数据中心的开通,将会提高Criteo公司对客户在线广告和公司业绩,进一步表明其对中国市场的承诺. 该数据中心提供服务广告客户大多数是 ...
亚马逊光缆被挖？——阿里工程师讲解支付宝如何架构设计数据中心
文: 周瑜校对:李二全文2500字,建议阅读时长7分钟点击右上角关注我们,每天都能收到有趣的推文哦. 亚马逊光缆被挖?--阿里工程师讲解支付宝如何架构设计数据中心昨天科技圈最火的新闻应该是&q ...
“新基建”呼唤数据中心“整合者”
点击上方关注我们! "新基建"会带来新一轮的数据中心建设高潮吗?毋庸置疑. 据招商证券保守估算,未来五年,我国所需的服务器数量超过1000万台,这将带动至少5000亿元以上的投资: ...
超融合架构驱数据中心变革
面对成熟企业的持续交付,以及初创公司的开拓创新所带来的双重压力,哪一类架构能够完美契合当前大步向前的业务发展?哪一类生态系统能够整合资源并让虚拟化数据中心再次变得真正灵活?答案或许与超融合基础架构密切 ...
采用新型储能架构解决数据中心能耗和电力问题
近年来,随着移动互联网.物联网.云计算等数据业务需求的爆炸式增长及IT技术的迅速发展,数据中心演变为一个高速发展的产业,成为新一代信息产业的重要组成部分.有关研究机构预计,2019年我国数据中心的市场 ...
数据中心网络架构 — 云数据中心网络 — 二层架构设计示例
目录文章目录目录 Border Leaf.Spine.Leaf 二层架构设计示例 Server 接入 Leaf Leaf 接入 Spine Spine 接入 Border Leaf Border ...

新架构让数据中心犹如PC

新架构让数据中心犹如PC相关推荐

最新文章

热门文章