1. 数据中心的主要目标

数据中心的主要目标是将服务器传输至客户端和其他服务器。为了提供数据服务而建设的，网络可以精确地定义设备的真实效率。

数据中心网络特征：

• 可用性：能够健全地从故障中快速恢复，或者至少对用户和连接设备掩盖他们的影响。
• 可扩展性：可以随着数据中心的发展而发展。
• 灵活性：支持网络设计和部署的变化，并不产生负面效果
• 高效率：能够充分调度最大可利用的资源。
• 预测性：显示一个期望的行为，甚至在故障中和故障后。

2. 以太网协议：过去和现在

IEEE创造了描述物理层的基于3个特性的命名方式：

数字代表Mbps为单位的数据传输速率，BASE代表使用基带信号传输，最后的1到2个字母指明所用的介质类型。

例子：10BASE-T 代表以太网系带传输速率为10Mbps,使用双绞线进行传输。

2.1 以太网介质

常见的以太网介质：

• 同轴电缆
• 双绞线
• 光纤
• 直连双同轴电缆

一般数据中心最常见的就是双绞线与光纤。

2.1.1 同轴电缆

作为第一个标准的以太网介质，同轴电缆使用和金属屏蔽线分层的铜芯线传输数据，电缆外层被一个外部塑料罩进一步保护。

同轴线缆两种不同的的以太网物理层标准：

• 10BASE5（或粗缆以太网）：在IEEE802.3标准中得到批准，可以长达500米（m）,在加入新节点时，电缆依靠“vampire taps”同时，刺入外壳和芯层，提供与节点相连的附加单元接口（Attachment Unit Interface,AUI）.
• 10GBASE2（或粗缆以太网）：只在IEEE802.3a标准中出现，长度可达185米（m）,新的基站可以通过使用BNC T连接器加入介质。

应用场景：

下图中，说明了同轴电缆线的内部结构和10GBASE5与10GBASE2的一些物理零件。在两个标准中，在电缆两端都需要有电阻（终结器）防止信号发射与通信丢失。由于这些标准实行的困难以及20世纪90年代双绞线的广泛使用，同轴电缆在现在以太网应用中认为是比较陈旧的技术，虽然如此但是它仍然存在于无线电设备、有线电视分布系统和资深工程师的梦靥中。

2.1.2  双绞电缆

双绞线是在园区网与数据中心网络布线中最常见的以太网介质，双绞线电缆源自于电话布线系统。（它的专利拥有者就是电话之父贝尔）

一个双绞线系统是几个导体的集合，每一对都构成一个单独电路。成对的线缆相互缠绕来较少来自外部的电磁干扰（Electromagnetic Interface，EMI），包括临近双绞线 电缆的交叉干扰。

两种类型双绞电缆：

• 屏蔽双绞电缆（Shielded Twisted-Pair, STP）:单独或者多根双绞线缆加上了屏蔽外壳防止电磁干扰。这种线缆适合长距离或者高速率的连接。
• 非屏蔽双绞电缆（Unshielded Twisted-Pair, UTP）：不采用屏蔽外壳。价格较低，适合用于短距离和低速连接。

一般一根双绞线缆通常在交换机和服务器接口采用8线RJ-45的连接器。

美国国家标准协会和电信行业协会ANSI/TIA-568标准（分为568A和568B）详述了双绞电缆布线，除了提供综合的结构化布线原则，还对依据抗干扰的性能和弱点规定了双绞线缆系统的分类。

双绞线缆分类：

2.1.3 光纤

光纤是以二氧化硅或塑料为原料的介质，能够通过光传递信息。光纤由纤芯和包裹它的包层组成，由于他们的折射系数不同，光一进入包层就会被反射回纤芯。因此，当光进入光纤后，就被限制在纤芯内，并在包层和纤芯边界处来回反射，沿着光纤传播。

主流光纤类型：

• 多模光纤（MultiMode Fiber， MMF）：为短距离通信设计。这种线缆允许多种模式的光沿着光纤传播。一般纤芯直径为50μm或者62.5μm，包层为125μm。
• 单模光纤（Single-Mode Fiber，SMF）：为长距离通信设计。这种光纤只允许一种模式的光在光纤中传播。纤芯直径在8~10.5μm，包层为125μm。相对于多模光纤，它允许更小的光色散，因而更加昂贵。

下图为光在MMF与SMF中的传递过程：

IEEE引用了国际标准化组织和国际电工委员会ISO/IEC 11801光纤说明书当做以太网光通信的参考。此标准依据单位距离的传输速率将多模光纤分成4类（OM1、OM2、OM3、OM4）。OM3与OM4是目前在数据中心使用最多的多模光纤，因为在相同的数据速率下他们的传输距离更长。

ISO/IEC 11801和24702将单模光纤归为两类（OS1和OS2），随着距离衰减减小，性能则会提高。

下图为光纤的以太网标准：

注意：

（1）一个光纤系统由一或者多对光纤组成，每个以太网设备收发信号使用不同的光纤。所有的以太网物理层使用一对光纤，除了40GBASE-SR4和100GBASE-SR4使用4对和10对多模光纤。

（2）对于以太网来说，每种光纤的最大距离说明：多模光纤一般用来连接数据中心同一个机房内的设备，而单模光纤则用来连接不同机房，甚至不同的数据中心。

2.1.4 直连双同轴电缆

和双同轴电缆一样，直连双同轴电缆与同轴电缆非常相似，只是多了一根铜导线芯。两根铜芯都被绝缘层保护起来，在一堆铜芯外面在覆盖金属导体。和双绞电缆类似，两根纤芯相互缠绕来削弱外部干扰。

双同轴电缆原本有IBM制造出来用于短距离连接，它提供了一种划算的方式将临近机架的以太网设备相连。这些电缆通常应用在交换机或服务器的收发机房。

直连10G以太网双同轴电缆有增强光学收发器（Enhanced Small Form Factor Pluggable，SFP+）兼容连接器，而40G以太网使用增强4通道SFP收发器（Enhanced Quad Small Form Factor Pluggable, QSFP+）连接器。双同轴电缆对于这两个速率具有两个种类。

• 优化型：加入SFP+或QSFP+的外罩来改善信号质量，通常覆盖7~10m.
• 无源型：在设备间直接进行传导，距离为1m、3m或5m。（华为的堆叠线缆）

双同轴先由于很高的性价比在数据机房很受欢迎。

注意：双同轴电缆还有一个额外的优势，其低误比特率（10E18）比IEEE10G以太网要求的误比特率（10E12）小很多。

2.1.5 以太网数据速率时间轴

上图中，以Mbit/s为单位展示了以太网速率在不同介质（同轴电缆，双绞线缆，光纤，双轴同轴电缆）上的发展。

从上图中可以观察得出以下趋势：

• 双绞线数据速率大体增长了10倍，但在10Gbps后没能保持这种增长速度。
• 光纤发展略快，是第一个支持100Mbps的介质，也是所有介质中寿命最长的。
• 双同轴线缆成为了10Gbit/s连接的一种可选介质。

总结：由于光收发器的费用较高，光纤早期应用在交换机与交换机之间需要高传输速率的需求的场合。而服务器接入这样的大量连接需要依靠成本升级到更快的传输速率，因而双绞线和双同轴线对于这些连接时最受欢迎的。

3. 数据中心的网络拓扑

3.1 传统的三层结构

如上图所示，20世纪90年代，园区网设计的三层结构（核心层、汇聚层、接入层），慢慢应用到数据中心。

但是园区的桌面与数据中心的服务器应用三层结构还是有些区别：

• 故障影响：园区交换机故障意味着一些用户将无法使用它们的应用；而数据中心网络故障意味着包括远程用户在内的所有用户的应用无法使用。
• 主机连通性：一个普通的用户和桌面只有一个接入园区网的连接，而数据中心的每个服务器通常至少有两个以上的以太网连接。
• 通信方向：园区网的主要通信集中在接入和汇聚通往可达服务器的上行链路（南北流量居多，满足上网要求）。这种情况不可能生在数据中心网络中，因为服务器之间通信是均衡的。（不仅仅是南北流量，东西流量扩展要求日益递增）

3.2 数据中心的网络分层

起源于互联网服务提供商（Internet Service Providers, ISP）经验的三层模型核心层、汇聚层、接入层，在数据中心将会被大二层（核心层、接入层）的网络新结构所取代。这里还是介绍传统的三层模型。

网络分层的优势：

• 模块化
• 灵活性
• 恢复能力

核心层：

在数据中心中，为数据中心进出口通信提供强大的转发能力，利用专属的路由特性，在密集的数据中心网络中，提供一个可升级，灵活，能复原的结构，以便为更多汇聚层交换机建立连接。

汇聚层：

原本用来设计作为IP子网的汇聚点，通常作为默认网关和多对接入交换机间的通信链路，因此汇聚层也被认为是接入有状态网络服务的中心点。

例如：防火墙和负载均衡器的接入部署

注意：有状态的网络设备根据有如TCP这样的协议确定网络状态作为发送决定，相反，无状态设备静静根据一个包或者帧内部信息处理他们。

接入层：

提供高密度的端口让服务器或主机接入，简化和改善管理。接入交换机通常致力于同一子网服务器直接的通讯，改善了服务器间任何通信交换类型（单播，广播和组播）

3.3 数据中心网络的设计因素

3.3.1 超额率比值

超额率：是指每个用户分配到的资源和每个用户潜在能够消耗的最大资源比值。一般重点考虑交换机上下行链路线缆带宽比值。

例子：一个接入层交换机32个10G以太网口，和8个10G上行以太网口，那么它的对应上行服务器流量为4:1的超额率。

3.3.2 应用弹性

它要求应用和网络现有机制的完美和谐。

例如：

• 服务器冗余以太网接口应该连接到不通的接入交换机上，并防止“黑洞”（一个活跃的服务器连接在一个孤立的网络设备上）产生；
• 网络与应用服务器相比应该有更快的反应速度。

3.3.3 熟知不同因素的优先级

数据中心设计者要熟悉不同情况下不同因素的优先级，因为对一个因素有利会潜在的对另一个有害。

例如：传统交换机使用的4种冗余设计

上图拓扑设计方案中：分为环状和无环拓扑结构，取决于阻止连接损失的机制，例如：生成树协议（Spanning Tree Protocol, STP）

环状拓扑特点：

• 由于实用性和灵活性，环状拓扑无疑是数据中心部署最为广泛。（优点）
• 接入汇聚层的超额率保持不变，防止上行链路或汇聚交换机出现单点故障，提供冗余能力。（优点）
• 增加了交换机接口的密度，同时STP的冗余机制，导致线缆带宽的浪费。（缺点）

无环U型特点：

• 不成环，没有链路被阻断。最优的链路利用率。但任然建议交换机开启STP功能。（优点）
• 每个二层需要一对交换机，不然易成环路。（缺点）
• 易出现单点故障，无冗余。（缺点）
• 无环反向U型在一个2层范围内允许加入超过两台接入交换机，但是此拓扑的上行链路和汇聚层故障很复杂，因为服务器流量会产生“黑洞”。（缺点）

3.4 物理层网络布线

3.4.1 两种流行的数据中心针对机架的布线方式

顶架式（Top-of-Rack，ToR）

设计基于内机架式服务器和小交换机之间的布线

• 减少布线
• 优化网络设备的使用空间

列端式（End-of-Row，EoR）

设计基于服务器直接的机架间布线和高密度成列安装的交换机作为服务器机架。

• 减少网络设备数量
• 优化设备端口利用率
• 大量的线路存放在活动地板下或者电缆槽内有大量的水平线缆，不易于通风，不易于线缆梳理。

哪个更好？看情况，实际上，最好的设计方案选择是根据每个机架的服务器数量、连接速率、预算和运行复杂度而定。一般目前常见的为ToR布线。

3.4.2 ANSI/TIA-942标准

此标准在2005年有电信行业协会的TR-42工程委员会发表，EIA/TIA-942电信数据中心基础设施标准为数据中心的设计和安装提供了非常有用的指导方针。

空间和结构化布线元素

• 机房（Computer room）：一个主要功能是容纳数据处理设备的建筑空间。
• 接入室（Entrance room）：提供数据中心结构化布线和外部建筑布线（服务提供商或者客户所有）之间的接口，位于机房外面以防止物理层安全受到破坏。
• 主要分布区（Main Distribution Area，MDA）：在机房内部，是结构化布线的核心点。这里可以自由连接到数据中心的其他位置，网络设备通常位于此区域。
• 水平分布区（Horizontal Distribution Area, HDA）:活跃设备延伸线缆的分布点，同样在机房内部。小型的数据中心的主要分布区可以支撑网络，可以不需要水平区。
• 设备分布区（Equipment Distribution Area, EDA）：一个用来放置活跃设备的空间，设备包括计算机系统和通信设备。在设备分布区，来自水平分布区的水平线缆末端接上插线面板，服务器机架被间隔排布出冷通道和热通道，以方便温度管理。
• 区域分布区（Zone Distribution Area， ZDA）：一个位于水平分布区和设备分布区直接的可选的互连地点，方便重配置，是系统具有灵活性。
• 交叉连接（Cross-connect）：是一种设备，是线缆终端能够和布线系统、子系统、跳线和硬盘端口连接跳线建立连接。
• 骨干线缆（Backbone cabling）：在数据中心结构化布线系统中提供主要分布区、水平分布区和接入室之间的连接。骨干线缆要求能在一个或者几个计划阶段内满足数据中心的服务需求，在不安装额外线缆的情况下，适应服务器需求的增长和改变。

4. 网络虚拟化的优点

4.1 网络逻辑分区

在统一数据中心网络中，资源（如：端口和传输带宽）可以实现最大化利用，网络分区有很强的推动力。

例如：不通的安全区域和多租户技术的实现。

常见技术：VLAN、VRF、负载均衡器、VDC

4.2 网络简化和流量负载平衡

由于生成树链路阻塞问题，导致链路的利用的浪费。为了提高网络资源的利用率，生成树欺骗技术得以产生。

网络虚拟化创造的将物理连接和设备转化成更为简单的逻辑实体的可能性，促进了资源的利用并减少了设计的复杂性。

例如：

• 以太通道（EtherChannel）
• 虚拟端口通道（virtual PortChannel，vPC）
• 2层FabricPath多路径

4.3 管理整合和布线优化

阵列扩展器（Fabric Extender，FEX）是一种依靠父系交换机工作的网络设备。它们是一种能够利用架顶式（ToR）和列端式（EoR）物理层布线的优点的安装在机架上的虚拟父系交换机上的一块远程线卡。

4.4 网络扩展

网络虚拟化同样也能够被用于通过多协议标签交换（Multiprotocol Lable Switching, MPLS）或IP网络连接第二层网络（二层扩展技术）

例如：

• MPLS上的以太网服务（Ethernet over MPLS，EoMPLS）
• 虚拟专用局域网服务（Virtual Private LAN Service，VPLS）
• 层叠传输虚拟化（Overlay Transport Virtualization，OTV）