高度虚拟化，成就云数据中心

近期在处理分布式云数据中心建设项目中，查阅和翻看了不少华为、华三等厂家的资料，发现虚拟化应是促使云数据中心走向成熟应用的最大化变因，特此记录下来，并向大家分享虚拟化相关概念。

高度虚拟化在迅速地改变当前 IT 运营模式，它使得云数据中心内的虚拟化更加复杂，“一虚多”的模式（一台物理服务器抽象出多个虚拟系统）得到了扩展、“多虚一”（多个虚拟系统同时处理单项任务）和“多虚多”（多项业务在多个虚拟系统中运行）正在成为云数据中心主要环节。

可以试想一下，电子商务、视频播放、在线交友等网站，日均网页访问量会达到数亿次，支撑业务的平台恐怕需要数万台服务器、多个数据中心以及海量的存储。传统数据中心难以满足，云数据中心将这些抽象出来的资源全部整合到一起，以“资源池”的方式管理，按需处理复杂的业务请求。因此，传统的数据中心向“云”的模式过渡是大势所趋。

面对如此庞杂的资源池，人工管理显然非常不现实，所有人都会希望自动化管理，业务的迁移、故障集群转移与检查排除、流程的跟踪与审核都需要自动化的管理技术来实现。

1.服务虚拟化

1.1虚拟机技术

由于传统的数据中心服务器利用率太低，平均只有 10%～15%，浪费了大量的电力能源和机房资源。所以，出现了服务器虚拟化技术。服务器虚拟化在数据中心中已经大行其道，但是仍然有很多数据中心架设着物理服务器，随着时间的推移，物理服务会大跨步向虚拟服务迁移，当所有的服务以虚拟形态出现时，数据中心高度虚拟化的雏形基本成型。尤其是在容器化及容器编排技术逐渐标准化及规模化应用的当今，服务器虚拟化已成为各国各行各业认定的不可逆转的发展趋势。

服务器虚拟化技术是把一台物理服务器虚拟化成多台逻辑服务器，这种逻辑服务器被称为虚拟机（VM），每个 VM 都可以独立运行，有自己的 OS、APP，当前也有自己独立的 MAC 地址和 IP 地址，它们通过服务器内部的虚拟交换机（vSwitch）与外部实体网络连接。

通过服务器虚拟化，可以有效地提高服务器的利用率，降低能源消耗，降低客户的运维成本，所以虚拟化技术目前得到了广泛的应用。

1.2虚拟机动态迁移技术

服务器虚拟化之后，带来了一项伴生的技术，那就是虚拟机动态迁移。所谓虚拟机动态迁移，就是在保证虚拟机上服务正常运行的同时，将一个虚拟机系统从一个物理服务器移动到另一个物理服务器的过程。该过程对于最终用户来说是无感知的，从而使得管理员能够在不影响用户正常使用的情况下，灵活调配服务器资源，或者对物理服务器进行维修和升级。

在传统数据中心，一旦服务器迁移到其他二层域，就需要变更 IP 地址，那么原来这台服务器所承载的业务就会中断，而且牵一发动全身，其他相关的服务器（比如 WEB-APP-DB 服务器之间都是相互关联的）也要变更相应的配置，影响巨大。

在服务器虚拟化之后，虚拟机的动态迁移会成为一种经常出现的场景。为了保证迁移时业务不中断，就要求在迁移时，不仅虚拟机的 IP 地址不变，而且虚拟机的运行状态也必须保持原状（例如 TCP 会话状态），所以虚拟机的动态迁移只能在同一个二层域中进行，而不能跨二层域迁移。

为了打破这种限制，实现虚拟机的大范围甚至跨地域的动态迁移，就要求把VM 迁移可能涉及的所有服务器都纳入同一个二层网络域，这样才能实现 VM 的大范围无障碍迁移。因此，就涉及到网络虚拟化、网络扁平化及大二层网络建设要求，则详见“网络虚拟化”。

2.网络虚拟化

在传统数据中心建设中，为了提高网络可靠性，通常会采用冗余设备和冗余链路，这样就不可避免的形成环路。如下图所示。红色链路构成一个环路，蓝色链路也构成一个环路，事实上，在相对复杂的二层网络中，物理上的环路几乎无处不在。

二层网络处于同一个广播域下，广播报文在环路中会反复持续传送，而且二层报文转发又没有 TTL 机制，无限循环之下，就会形成广播风暴，瞬间即可导致端口阻塞和设备瘫痪。因此，需要通过网络虚拟化技术来解决传统数据中心无法实现服务动态迁移以及网络冗余设计等一系列问题。

网络虚拟化，是将物理网络进行抽象，使得抽象出的逻辑网络可以满足不同的需求。网络虚拟化的技术有很多，例如 VLAN、VPN、VXLAN 等等。目前最为人们所关注的就是 SDN 了，SDN 的思想是使得网络设备控制面与数据面分离开来，从而实现网络流量的灵活控制，使网络作为管道变得更加智能和易于部署。

2.1NFV技术

网络虚拟化（NFV），就是把物理网络资源虚拟化成逻辑网络资源，以便提供更加灵活的网络资源调配和供给能力。

借鉴云计算里面有集中云和分散云的概念。

集中云就是把大量物理计算资源（服务器）整合成一个超级逻辑计算资源（计算云），来实现超级计算任务，例如搜索引擎、科研计算等等，这就是所谓的“多虚一”。
分散云就是把一个物理计算资源（服务器）虚拟成多个逻辑计算资源（虚拟机），来提高资源利用率，这就是我们更熟悉的服务器虚拟化技术，即所谓的“一虚多”。

借鉴这个划分方法，网络虚拟化技术也大致可以分为“多虚一”和“一虚多”两大类。

1、 “多虚一”大致可以再划分为控制平面的多虚一和数据平面的多虚一两类，华为的CSS、iStack等集群/堆叠技术是“多虚一”典型代表。

控制平面的多虚一，是把多台物理设备组合在一起，虚拟成一台逻辑设备，在网络拓扑中只呈现为一个节点。控制平面多虚一又可以分为横向多虚一和纵向多虚一两类。横向多虚一，就是把同一层次上的同类型的多台物理设备进行组合，虚拟成一台逻辑设备，例如堆叠（华为的 CSS 技术（框式堆叠）、iStack（盒式堆叠））、集群等技术。纵向多虚一，也称为混堆技术，是把不同层次上不同类型的物理设备进行组合，虚拟成一台逻辑设备，从而达到简化配置和管理的目的，纵向虚拟化方案的业界代表如华为的SVF（Super Virtual Fabric）技术、H3C 的 IRF3.0。

数据平面多虚一，就是数据平面的虚拟化方案，即TRILL/SPB 等技术。TRILL/SPB 网络的控制平面是分散的，没有一个统一的控制节点，规避了控制平面虚拟化的固有缺陷，但是从数据转发的角度来看，整个 TRILL/SPB 网络对外呈现的是一个虚拟化的黑盒节点，所以是数据平面的虚拟化方案。数据平面虚拟化方案可以有效的扩展二层网络的范围，整个 TRILL/SPB 网络是一个“虚拟交换机”，这个“虚拟交换机”的接口数量极为可观。

2、类似第，对网络一虚多的技术进行一个划分，一虚多也可以分成数据平面的一虚多和控制平面的一虚多。

数据平面一虚多，传统的技术代表是VLAN/QinQ、MPLS L2/L3VPN，最新的技术代表包括VXLAN、NVGRE等，将原来的一个数据转发平面虚拟成多个数据转发平面，实现用户或业务隔离。每一个 VLAN 或者VPN 实例，都可以看成是一个虚拟网络。

控制平面的一虚多，可以继续细分为业务/特性级、设备级两级。业务特性级就是局部的“分身”，典型代表如MSTP 的多进程、OSPF 的多进程等技术；而设备级就是每个分身都是独立个体，典型代表如华为VS（Virtual System）、H3C的 MDC 等技术。VS 是指将一台物理设备 PS（Physical System）虚拟成多个相互隔离的逻辑系统。每个VS 独立工作，在业务功能上等同于一台独立的传统物理设备。

分类	子类	子子类	技术
多虚一	控制平面	横向	CSS/iStack
		纵向	SVF、IRF
	数据平面		TRILL/SPB
一虚多	控制平面	业务/特性级	特性多进程
		设备级	VS 、MDC
	数据平面		VLAN/QinQ L2/L3VPN、VXLAN/NVGRE

2.2堆叠技术

由两台设备通过相互连线组成堆叠系统，连接方式有主控板直连和业务板直连两种。

主控板直连方式里，堆叠链路由两部分组成，一部分是通过主控板上的 SIP 口连接的管理链路，另一部分是通过接口板上的业务口连接的转发链路。其中，管理链路负责堆叠系统管理报文及维护报文的转发，转发链路则负责跨框业务数据报文的转发。转发链路的业务口是被捆绑在一个堆叠逻辑端口（Stack-port）中的，一个堆叠逻辑端口里可以绑定多个业务口，这些业务口也可以跨板。

在业务板直连方式里，管理链路和转发链路是合一的，只需要连接接口板上的业务口即可，不需要连接主控板上的 SIP 口。

由两台或者多台交换机之间两两连线组成堆叠系统。其管理链路和转发链路是合一的，通过业务口连接。业务口被捆绑在堆叠逻辑端口中，一个堆叠逻辑端口里可以绑定多个业务口。

交换机堆叠拓扑可以分成链形和环形两种，如下图所示。

为了提高转发效率，减少跨设备转发流量，堆叠需要支持 Eth-Trunk 接口流量本地优先转发。即从本设备进入的流量，优先从本设备的出接口转发出去；如果本设备的出接口故障，则流量从其它成员交换机的接口转发出去，如下图所示。

2.3SVF技术

SVF（Super Virtual Fabric）可以将接入、汇聚等不同层次的交换机虚拟成一台逻辑交换机，进行集中管理，如下图所示。

SVF 中有两类交换机角色：

Spine，也称父交换机，是整个 SVF 系统的核心，负责整个系统的控制和管理。
Leaf，也称叶子交换机，是纵向扩展设备，可以理解为 Spine 的远程接口板，由Spine 进行统一管理。

根据父交换机形态的不同，SVF 可以从形态组合上简单划分为盒盒SVF 和框盒SVF。顾名思议，盒盒SVF就是指盒式交换机+盒式交换机组成的SVF，父交换机和叶子交换机都由盒式交换机担任；框盒SVF就是指框式交换机+盒式交换机组成的SVF，框式交换机作为父交换机，盒式交换机作为叶子交换机。

无论盒盒 SVF，还是框盒 SVF，父交换机与叶子交换机之间都通过 Fabric-port 口相连，一个叶子交换机对应连接一个 Fabric-port，如下图所示。Fabric-port 是一种类似堆叠里Stack-port 的逻辑口，可以绑定多个物理成员口，通过多条链路的聚合，可以为 SVF 链路提供更高的带宽及可靠性。父交换机上 Fabric-port 中的成员口可以跨设备（针对盒盒 SVF）或跨板（针对框盒 SVF）。

盒盒 SVF构建数据中心接入层网络，如下图所示的数据中心组网中，核心层由两台CE12800组成CSS，接入层由CE6800+CE5800组成SVF，其中 CE6800 作为父交换机并组成 iStack，保证SVF系统的高可靠性。服务器双活接入叶子交换机 CE5800，实现流量的负载分担。

框盒 SVF 构建数据中心接入层网络，如下图所示的数据中心组网中，核心层由两台 CE12800 组成 CSS，接入层由CE12800+CE5800 组成 SVF，两个 SVF 之间部署 M-LAG，服务器通过 M-LAG 双活接入叶子交换机 CE5800，实现流量的负载分担。

1.4VS（Virtual System）技术

VS（Virtual System）技术是将一台物理交换机虚拟化成多个逻辑交换机，虚拟化出来的逻辑交换机简称为 VS，可以最大限度地利用现有资源，同时保持逻辑设备之间的运营独立性。不同于 VLAN 或 VRF 这种数据平面的虚拟化，VS 是一种完全的网络操作系统一虚多虚拟化技术。在软件层面，VS 将数据平面、控制平面、管理平面进行了完全的虚拟化。在硬件层面，不仅可以将端口等硬件资源划分到独立的 VS，而且可以对每个 VS 的CPU、内存等资源进行划分。

利用多虚一技术先将多台物理设备虚拟化成一台逻辑设备，然后再将这台虚拟设备虚拟成多台虚拟设备，这就是堆叠与 VS 的组合。

堆叠与 VS 的组合，首先虚拟化组合可解决单设备端口资源不足的问题。通过多台物理设备的多虚一，可以将这些物理设备的端口资源合并为一个更大的资源池，然后利用这个资源池按需给 VS 分配端口资源。

另外，通过多虚一使整个系统有了物理设备的备份，即使某一台物理设备故障了，另外一台物理设备依然可以保证 VS 的运行，不用再担心一倒一大片的情况出现了。

VS网络聚合场景，如下图所示，网络的核心层和汇聚层部署在 VS 上，物理上共用一台交换机。这样既可以保持逻辑上的接入、汇聚、核心三层网络结构，又可以在物理上聚合汇聚、核心层，减少设备数据，降低网络投资。

VS网络隔离场景，如下图所示，在网络的核心层交换机上部署 VS，分别作为两张独立网络的核心层。两张网络在核心层共享物理交换机，但独享不同的 VS，既可以实现隔离，也可以在满足业务需求的前提下，充分利用设备能力，减少网络投资。

2.5VXLAN技术

VXLAN（Virtual eXtensible Local Area Network，虚拟扩展局域网），是由 IETF 定义的NVO3（Network Virtualization over Layer 3）标准技术之一，采用 L2 over L4（MAC-inUDP）的报文封装模式，将二层报文用三层协议进行封装，可实现二层网络在三层范围内进行扩展，同时满足数据中心大二层虚拟迁移和多租户的需求。

上图中，VXLAN 网络中出现了以下传统数据中心网络中没有的新元素：

VTEP（VXLAN Tunnel Endpoints，VXLAN 隧道端点）

VXLAN 网络的边缘设备，是 VXLAN 隧道的起点和终点，VXLAN 报文的相关处理均在这上面进行。它是 VXLAN 网络中绝对的主角。VTEP 既可以是一台独立的网络设备（比如华为的CE系列交换机），也可以是虚拟机所在的服务器。

VNI（VXLAN Network Identifier，VXLAN网络标识符）

以太网数据帧中 VLAN 只占了 12 比特的空间，这使得 VLAN 的隔离能力在数据中心网络中力不从心。而 VNI 的出现，就是专门解决这个问题的。VNI 是一种类似于 VLAN ID 的用户标示，一个 VNI 代表了一个租户，属于不同VNI 的虚拟机之间不能直接进行二层通信。VXLAN 报文封装时，给 VNI 分配了足够的空间使其可以支持海量租户的隔离。

VXLAN 隧道

“隧道”是一个逻辑上的概念，比如大家熟悉的 GRE。目的是将原始报文“变身”下，加以“包装”，好让它可以在承载网络（比如 IP 网络）上传输。从主机的角度看，就好像原始报文的起点和终点之间，有一条直通的链路一样。而这个看起来直通的链路，就是“隧道”。顾名思义，“VXLAN 隧道”便是用来传输经过 VXLAN 封装的报文的，它是建立在两个 VTEP 之间的一条虚拟通道。

华为CE 系列交换机 VXLAN 的分布式网关的应用部署方案。

1、同 Leaf 节点下不同部门 VM 之间的通信

如上图所示，Leaf1 作为 VXLAN 网络的 VTEP，在 Leaf1 上部署 VXLAN 三层网关，即可实现同 Leaf 下不同部门 VM 之间的相互通信。此时，VM1 和 VM2 互访时，流量只需要在 Leaf1 节点进行转发，不再需要经过 Spine 节点，从而节约了大量的带宽资源。

2、跨 Leaf 节点不同部门 VM 之间的通信

如上图所示，Leaf1 和 Leaf2 作为 VXLAN 网络的 VTEP，在 Leaf1 和 Leaf2 上部署 VXLAN 三层网关。两个 VXLAN 三层网关之间通过 BGP 动态建立 VXLAN隧道，并通过 BGP 的 remote-nexthop 属性发布本网关下挂的主机路由信息给其他BGP 邻居，从而实现跨 Leaf 节点不同部门 VM 之间的相互通信。

华为CE系列交换机支持的 VXLAN控制器部署方式：SNC 控制器方式和 AC 控制器方式。

1、SNC控制器方式

SNC控制器方式是指通过SNC控制器动态建立VXLAN隧道。此方式下，CE系列交换机作为转发器，无需进行VXLAN配置。VXLAN隧道的创建以及指导报文转发的表项，均由SNC控制器通过OpenFlow协议向转发器下发。

2、AC控制器方式

AC控制器方式是指通过AC控制器动态建立VXLAN隧道。此方式下，CE系列交换机作为转发器，需要预先完成部分基础配置，AC控制器通过 NETCONF 协议向转发器下发建立VXLAN 隧道的配置，通过 OpenFlow 协议控制报文在隧道中的转发。

华为CloudEngine 系列交换机支持基于BGP和VXLAN的数据中心二层网络互联解决方案（EVN（Ethernet Virtual Network）），通过扩展BGP协议在PE之间传递二层网络的MAC地址信息，完成控制面表项的建立；通过VXLAN的“MAC in UDP”方式对数据报文进行封装，完成转发面报文的传输。

EVN 是一个独立的二层互联域，而不是一个独立二层域，是因为 EVN方案中多个VLAN可以通过同一个EVN实例实现跨站点扩展。这样既保留了不同VLAN之间的转发隔离，也不需要为每一个VLAN独立进行EVN相关的配置，达到了简化配置的目的。

Site：Site是指数据中心站内由服务器和交换机组成的二层网络域。多个 site之间通过EVN网络实现互联。Site的边界位于数据中心二三层网络分界的交换机上。
PE：PE之间是实现二层网络互联的逻辑EVN网络，其实际上的物理承载网络可以为运营商提供的传输专线、MPLS网络等，总之只要IP路由可达即可。PE是EVN网络的核心设备，从形态来说既可以是独立的物理设备，也可以是从现有的站点边界设备中虚拟出来的逻辑设备（例如，汇聚层交换机作为二三层的边界，可以采用多台交换机先 CSS后再VS的方式，使用两个VS分别作为 EVN PE和三层网关）。
CE：连接站点内二层网络域与 PE 的设备。既可以是独立的物理设备，也可以是虚拟的逻辑设备。使用独立的物理设备时，通常为汇聚层交换设备。数据中心内部的二层网络域可以是部署了 CSS、STP 或者 TRILL 的二层网络。

EVN 的控制层面主要包括两个阶段：第一阶段是 PE 之间 BGP 邻居关系建立，即修路过程；第二阶段是 PE 上转发表项（MAC 路由表、BUM 转发表）生成以及 PE 之间VXLAN 隧道建立，即通车过程。

2.6 M-LAG 技术

M-LAG 技术是一种跨设备的链路聚合技术，将堆叠/SVF 的机制引入到 TRILL/VXLAN 网络中，为其接入侧多路径转发服务，能够实现多台设备间的链路聚合，从而把链路可靠性从单板级提高到了设备级，组成双活系统。华为CE系列交换机均支持M-LAG技术，可解决拓扑无环路、多路径转发的问题，可应用在双归接入场景。

M-LAG技术本质上还是控制平面虚拟化技术，但是和堆叠/SVF技术不同的是，由于M-LAG的目的仅仅是在链路聚合协商时，对外表现出同样的状态，所以不需要像堆叠/SVF那样同步设备上所有的信息，只需要同步接口和表项相关的一些内容。这样，控制面耦合程度相比堆叠/SVF来说，会小很多。

这样，堆叠/SVF技术的一些缺陷在M-LAG上也会缓解很多，相对堆叠/SVF的三个主要的问题：

1：扩展性问题：M-LAG技术并没有解决扩展性问题，但是其主要目的是为了解决接入侧多路径问题，在数据中心网络中一般会配合路由或者一些大二层技术。所以扩展性并非其需要考虑的问题。

2：可靠性问题：M-LAG需要同步的仅仅是协议面的一些内容，并不需要同步所有的设备状态，理论可靠性相对堆叠/SVF更加好。

3：M-LAG两台设备可以进行独立升级。仅协议面耦合，中断时间较短。

M-LAG：跨设备链路聚合组，是一种实现跨设备链路聚合的机制，能够实现多台设备间的链路聚合，从而把链路可靠性从单板级提高到了设备级，组成双活系统。
M-LAG主/备设备：和堆叠/SVF一样，M-LAG也会选取主/备设备，但是正常情况下，主/备设备转发行为没有区别，仅在故障场景下，主备设备的行为会有差别。
Dfs-group：动态交换服务组协议，M-LAG 双归设备之间的接口状态，表项等信息同步需要依赖 Dfs-group 协议进行同步。
Peer-link：部署 M-LAG 的两台设备之间必须存在的一条直连链路，且该链路必须为链路聚合且配置为 peer-link。peer-link链路是一条二层链路，用于协商报文的交互及部分流量的传输。接口配置为 peer-link接口后，该接口上不能再配置其它业务。
Keepalive Link：心跳链路，承载心跳数据包，主要作用是进行双主检测。需要注意的是，keepalive链路和peer-link是不同的两条链路，其作用也不一样。正常情况下，keepalive链路不会参与M-LAG的任何转发行为，只在故障场景下，用于检查是否出现双主的情况。keepalive链路可以通过外部网络承载（比如，如果M-LAG上行接入IP网络，那么两台双归设备通过IP网络可以互通，那么互通的链路就可以作为keepalive）。也可以单独配置一条三层可达的链路来作为 keepalive 链路（比如通过管理口）。
M-LAG 成员口：双归接入的接口，两个 M-LAG 成员口的状态需要进行同步。
单归设备：如上图，单归设备仅连接到 M-LAG 双归设备中的一台。如果部署 M-LAG，单归设备是极为不推荐的。

3.存储虚拟化

3.1存储外部化

存储技术一般划分为：

1、嵌入式存储（Embedded Storage - ES）

顾名思义，嵌入设备内部的存储。比如服务器的内置硬盘，还有我们经常接触到的台式机和笔记本的硬盘。

2、直连方式存储（Direct Attached Storage - DAS）

存储设备直接挂接服务器，这是扩展存储最简单直接的办法。这种直连存储同样存在共享的问题，不同服务器上挂接的存储难于共享。对于整个数据中心环境下的存储系统管理，没有集中管理解决方案，整体的管理成本较高。扩展性不好，当出现新的应用需求时，只能为新增的服务器单独配置存储设备。

3、网络附属存储（Network Attached Storage - NAS）

网络上直接挂接的存储设备，其实就是处于以太网上的一台文件共享服务器，通过文件存取协议（例如 NFS、CIFS等）存取数据。这样似乎已经解决了共享的问题，而且NAS系统部署成本较低。增加另一台NAS 设备非常容易，但是要想将两个NAS设备的存储空间无缝合并并不容易，因为 NAS 设备通常具有独特的网络标识符，存储空间的扩大上有限，可扩展性受到设备大小的限制。由于它是采用文件请求的方式，相比块请求的设备性能差。比如块存储可以进行并行写入，性能优于文件存储。文件级访问是读写某个文件中的一段数据，块级访问就是直接读写存储空间中的一个或者一段地址来存取数据。

4、存储区域网络（Storage Area Network - SAN）

相比于嵌入式存储和直连方式存储在文件共享和扩展性方面有这比较大的限制，NAS存储在扩展性方面有一定的限制，那么存储区域网络可以突破共享和扩展性方面的限制。根据技术的差异，SAN分为IP SAN和FC SAN。

− IP SAN：应用 iSCSI 技术的 SAN 网络。

− FC SAN：应用 FC 协议的 SAN 网络。

SCSI 是用于服务器和存储交互的指令，承载于 TCP/IP 进行传输的叫做 iSCSI，即为 SCSI over TCP/IP，FC 协议通常可以认为是 SCSI over FC。

除了可共享以及可扩展，IP SAN 的优势还包括保护现有投资、降低管理复杂度等等。但是 IP 网络尽力而为的特点，注定了IP SAN 在可靠性和性能方面不会具有优势。

FC SAN承载于FC协议， FC协议具有无丢包机制，保证了FC SAN的高可靠性和高性能，同时光纤可以满足服务器和存储设备之间更远的距离。FC SAN 显著的不足就是部署成本高昂。

数据中心网络部署 FC SAN 后，如下图左边所示，LAN 网络和 SAN 网络会同时存在，LAN 网络用于服务器与服务器、客户端与服务器之间通信，SAN 网络用于服务器与存储设备之间通信。服务器需要同时接入 LAN 和 SAN 网络，所以服务器上需要两种不同的网卡。用于接入 SAN 网络的叫做主机总线适配器 HBA（Host Bus Adapter），用于接入 LAN 网络的叫做网络接口卡 NIC（Network Interface Card）。

FCoE 的全称是 Fibre Channel over Ethernet，承载于以太网的 FC。为了能在以太网中传输 FC 帧，FCoE 很巧妙的将 FC 帧封装在普通以太帧中来实现。FC SAN服务器对接 LAN 网络和 SAN网络需要配置两种网卡，这使得整个数据中心的电力消耗和冷却成本增加。如上图右边所示，FCoE 融合网络中服务器采用融合网络适配器 CNA（Converged Network Adapter），减少数据中心的电力和冷却成本。

FCF（FCoE Forwarder）是指同时支持 FCoE 协议栈和 FC 协议栈的双协议栈交换机，主要用于连接传统 SAN 网络和 LAN 网络。FCF 能够转发 FCoE 报文，同时具有 FCoE 封装/解封装功能。

如上图所示，在部署数据中心融合网络时，用户采用接入融合方案以保留之前对 SAN网络的投资，FCF 作为接入交换机通过上行口分别和存储设备 Array 相连，通过下行口和服务器 ServerA 直连。同时，ServerA 上行接入 FCFA 和 FCFB 部署双平面组网，保证网络可靠性。

NPV 交换机位于 Fabric 网络边缘，在节点设备与 FC 交换机之间，NPV 交换机将所有节点设备的流量转发到核心交换机。NPV 交换机不占用域 ID，可以使边缘交换机突破一个 SAN 网络中 239 台最大交换机数目的限制，同时可以延长 FC 链路，FC 交换机+NPV 组网能为存储网络提供极大的灵活性和扩展性。

FSB 交换机：类似于组播的 IGMP Snooping，FIP Snooping 的重点在于侦听（snooping）。运行 FIP Snooping 功能的交换机叫做 FSB（FIP Snooping Bridge），FSB 交换机本身不支持 FC协议栈。FSB 交换机利用 FIP Snooping 功能侦听 FIP 协议，控制 FCoE 虚链路的建立，预防恶意攻击。

如上图左边所示，采用 NPVA 和 NPVB 作为边缘交换机以扩充网络规模。ServerA 上行同时接入 NPVA 和 NPVB 部署双平面组网，保证网络可靠性。如上图右边所示，用户采用 FSB 作为接入交换机通过上行口分别和以太网交换机 Switch、FCF 直连，通过下行口和服务器直连。ServerA 上行同时接入 FSBA 和 FSBB 部署双平面组网，保证网络可靠性。

3.2存储虚拟化

存储虚拟化将毫无关联且相互独立的存储空间完全抽象到一个全局范围的存储区域网络，如 SAN，数据集中管理并形成一个巨大的“资源池”，管理平台将这些资源动态地分配给各个系统应用，资源的高利用率立刻可以体现；存储虚拟化将底层相对复杂的基础存储技术变得简单，数据管理员看到的不再是冰冷、繁多的存储设备，取而代之的是更加层次化、无缝的资源虚拟视图。而对于用户的体验则更加明显，高速、大容量无疑是对存储最好的诠释。存储虚拟化对管理者和用户无疑是双赢的资源整合模式。

4.虚拟化管理

服务器虚拟化、存储虚拟化、网络虚拟化将数据中心的基础环境进行了集中整合，使得数据中心全局可用性和安全性得到了大幅提升，接下来在其上层开始部署应用程序虚拟化和桌面虚拟化，在应用层面同样采用虚拟的方式来运营数据中心，高度虚拟化的是互联网数据中心不可或缺的关键性技术。

云操作系统提供了网络、计算、存储资源虚拟化及虚拟化管理的资源池化建设的一体化解决能力，实现数据中心资源的高度虚拟化，为IT基础设施平台建设提供不可或缺的IT资源服务基础能力。

4.1容器化及容器编排技术

容器化是一种轻量级的虚拟化技术，区别于虚拟机的硬件层面虚拟化，容器是建立在操作系统级的虚拟化技术，可以有效地将单个操作系统管理的资源划分到孤立的组中，以更好地在孤立的组之间平衡有冲突的资源使用需求。容器化与主机共享操作内核，只会在操作系统层创建一个个容器。容器在主机的操作系统层工作，一个容器包含一个或多个GIS应用程序。无论是在Windows还是Linux系统中，不管什么样的基础设施，成为容器的软件都可以正常运行。容器从环境中隔离了软件，以确保它们能够在开发或者演示中无差别工作。

在容器管理方面，需要通过自动化编排的工具来对多个容器进行统一管理，这些管理包括容器的创建、部署、更新、维护、调度、集群等。自动化容器编排技术的引入，使容器管理具有合理利用资源、分配资源，高度敏捷性等能力。容器编排工具提供容器调度策略，将所有容器统一管理，多个容器协同工作，按业务要求定义了每个容器的作用以及不同容器间的关系，把关键的容器提取出来，其余的容器隐藏，可按用户需求将容器组合分类，如专门提供应用服务容器组合，专门提供AI计算服务容器组合，专门提供数据存储服务容器组合等。

容器环境创建完成后，其管理工具的监控界面提供了可视化监控图表，对每个容器在节点的运行情况进行记录，通过图例控制可挑选单个容器观察，或所有容器同时观察。用户通过不同监控指标的图表可轻松掌握容器的健康程度，对出现问题的容器一键重新部署。用户还可直接管理单个容器，查看容器IP、所在主机IP，进入容器日志界面，查看容器的后台运行记录，该日志记载了容器在创建及运行时的每一项工作内容与结果，并通过控制台控制容器。

4.2微服务化能力

微服务是从系统架构的角度出发，构建灵活、易扩展的系统，是应用面向服务架构(SOA)在智能时代敏捷开发的最佳技术架构选择，实现快速响应业务需求，系统以微服务的方式对业务进行模型设计，在多种技术的支撑下提供模块化、组件化、共享化的服务，以方便前台灵活调用服务组件来集成系统，通过融合分布式、微服务、容器云、大数据处理及高可用高性能高并发架构，遵循“高内聚、松耦合”设计原则，设计业务模型和微服务边界，提供界面可视化编辑工具、业务逻辑在线编排工具、组件开发工具及通用组件、工程在线管理工具等用于满足界面可视化编程、业务逻辑在线编排、系统一键打包部暑、快速迭代升级等要求。

微服务化后，各服务之间的依赖被明确，且相互解耦，从单体式应用演变为分布式，给开发部署带来更多灵活性和技术多样性，使业务能充分利用云计算的优势，在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。如在性能出现瓶颈时，云计算时代的常用做法是利用动态伸缩，增加服务个数，通过后台集群机制来应对高并发，并在业务伸缩时，只需要部署对应功能的微服务而不是整套服务，从而使资源利用更精细。

4.3集装箱及模块化

大型集装箱的密度非常高，内部通常放置了大量的机架式设备，从占地面积上讲，一般相当于同级别的传统数据中心的 1/5 左右。这种集装箱式数据中心多采用水冷技术，并通过冷热通道将气流疏导，加之全封闭的模式使得数据中心的 PUE（Power Usage Effectiveness，数据中心能源效率）非常低，符合绿色、低碳、经济的要求。

同时集装箱内还具备UPS、配电柜等电力系统，指纹识别或者 IC 智能卡片等门禁系统、远程网络监控系统，以及感烟感温火灾预警系统、早期火灾预警系统和气体灭火系统，每一个集装箱都是一个独立的模块，等同于一个传统的数据中心，将多个集装箱叠加在一起，它的部署速度、协作能力、自动化部署、安全保障大幅增加。

为了应对目前快速增长的网游和电子商务市场，急需扩展数据中心规模来应付日益增长的业务需求，这种集装箱、模块化的数据中心可以起到推波助澜的作用，它要比传统模式部署简单，HP、SUN 等大型数据中心供应商可做到“美国 6 周，全球 12 周”交货。相信集装箱和模块化将是未来数据中心发展方向。

4.4绿色、低碳、环保要求

虚拟化的高度应用已经开始颠覆“数据中心是企业成本中心”的概念，当 500 台服务器整合成为 50 台甚至更少的服务器时，数据中心的成本结构必然发生了质的改变。随着设备的大幅减少，支撑其运行的 UPS 系统也会呈现大幅度缩减的态势，每年仅电费的支出就会为企业节省 60%以上，绿色数据中心的概念会随着设备的精简体现得更加完美。

在基础环境领域，设备本身也同样经历着低碳概念的洗涤。主板应用 RoHS 认证材料，并采用全固态电容，材质本身非常绿色环保、稳定性高，且电源转换高效；八核甚至更多核心的 CPU 在服务器的整体战略角度上说，提供着高效的性能；电源系统配备监控微处理管理芯片，实时管理电源的工作状态，为整体节能降耗、滤波降噪、自动超频降频提供着帮助，这只是服务器应用环节的一个缩影，存储设备、网络设备的自身环境的变化也在为降低数据中心整体 TCO（Total Cost of Ownership，总体拥有成本）作出贡献。

在整体环境中，中央冷却系统这样的耗电大户随着设备的减少也发生变迁，无线热传感系统向管理平台发送着实时的数据，方便管理者进行最适宜的热调整；冷热通道封装采用围栏技术，将冷空气流和热空气流通过乙烯基塑料隔板材质分离，将冷热空气快速导流，保持空气温度长期均衡。另外，精密空调变速系统、自然冷却系统，以及节能照明灯都在体现绿色数据中心低碳环保的态势。

4.5分布式云计算中心建设

分布式云数据中心以融合架构（计算、存储、网络融合）作为资源池的基础单元，构建 SDN 业务感知网络，通过自动化管理和虚拟化平台来支撑 IT 服务精细化运营。分布式云数据中心的核心理念在于：物理分布、逻辑统一。它可以将服务单位分布于全球的数据中心整合起来，使其像一个统一的数据中心一样提供服务，通过多数据中心融合来提升企业 IT 效率。去地域化、软件定义数据中心（SDN）、自动化是这个阶段的主要特征。逻辑统一有两方面的含义：所有数据中心及其资源统一管理、调度和运维支持，分权分域管理，这些能力需要分布式云数据中心提供统一的运维管理支撑平台；当分布式云数据中心要对外提供服务时，提供统一的服务呈现界面、统一的支撑流程，这需要分布式云数据中心提供统一的服务平台。

数据中心的硬件包括土建（房间场地）、能源系统、网络设备、服务器（包含相关操作系统和应用软件）和存储设备等等。在这些组件中，交换机、防火墙、路由器等网络设备的互联构成了数据中心的“血管与神经系统”┈数据中心网络。

在现代数据中心的大体量数据中，通过高效的挖掘工具或者挖掘方法实现价值提炼，需要借助于更加先进的技术才能实现价值提炼，同时具备更强的决策力、洞察力和流程优化能力的数据资产。这就涉及到大数据存储技术、大数据计算技术、流计算技术及大数据可视化技术等，最终建立了涵盖存储、计算、渲染及服务的分布式技术体系：

超大规模时空一体化模型与分布式存储技术，实现对多源异构海量时空数据的统一管理；
海量信息的全流程高性能分布式计算与建模框架，满足了超大规模时空数据频繁更新、高效分析、即时发布和快速浏览的需要；
云原生微服务技术重构大规模分布式架构，确保业务系统的高效运转、弹性伸缩；
高性能低时延的边缘计算技术，突破了中心计算、终端展示的传统模式，开创了“云-边-端”协同应用新模式。

4.6智能运维

基础资源建设平台具有大量IT设施设备，信息系统侧重于环境参数、设备状态和安全警戒等信息的采集，将信息系统只关注功能转变为聚焦人、事、物的行为，实现对人、事、物的数字化转变。通过IT设备的智能化选型，具有状态自诊断、传感自校验、接入自适配、感知自计算的智能设备是智能运维管理必不可少的关键技术，通过智能适配接入管控，提供安全、稳定、可靠的感知接入，实现IT设备可靠、可信感知和处理，实现各类设备对象全生命周期的管理和状态监控，完成多种不同规格设备接入适配、感知对象管理、感知数据采集和预处理、设备联动控制、感知场景设定和管理、设备实时运行监控。

对于资源的监控，不仅涉及到硬件资源，同时更要关注“软资源”，即网络、计算、存储等硬件资源虚拟化后孪生的资源的状态、使用、调度等。

在此基础上，针对不同服务对象、不同业务需求，将感知各要素信息从不同维度、不同视角进行分区聚合计算和容器云AI计算，通过将物理设备数据跨城汇聚提纯后，从空间分布、数据分级分类、时间变化等不同维度，以二维/三维视图，实现分区、分层级、分用户各类态势的呈现。

参考资料：

《数据中心网络技术红宝书》、

《华为数据中心网络设计指南》、

《分布式云数据中心的建设与管理》、

《云数据中心网络与SDN》、

《云数据中心构建实战》

高度虚拟化，成就云数据中心相关推荐

数据中心与云数据中心
数据中心与云数据中心数据中心(DC,DataCenter)是指在一个物理空间内实现信息的集中处理.存储.传输.管理等功能,它包括服务器.存储.网络等关键设备和这些关键设备运行所需要的环境因素,如供电 ...
云数据中心与传统数据中心
云数据中心是一种基于云计算架构的,计算.存储及网络资源松耦合,完全虚拟化各种IT设备.模块化程度较高.自动化程度较高.具备较高绿色节能程度的新型数据中心. 云数据中心的特点高度的虚拟化,这其中包括服 ...
大学数字化校园云数据中心建设方案
大学数字化校园云数据中心建设方案精品方案 2016年 07月目录 1 项目背景 2 建设原则 3 方案设计 3.1 总体拓扑设计 3.2 总体方案描述 3.3 核心网络设计 3.4 数据中心计算 ...
互联网+与智能制造信息技术峰会暨2016云数据中心建设与运营论坛隆重召开
摘要:为了进一步推进"互联网+"与各行业领域的深入融合,加速提升产业发展水平,增强行业创新能力.10月18日,由北京电子学会.中国绿色数据中心推进联盟主办,北京信息科技大学.网络文 ...
华为网赛云数据中心基础原理自测答案
1.虚拟化使服务器工作更饱满,一般数据中心运行初期负荷很高. 答案:错. 2.实现云数据中心后,需防止出现虚拟化扩张造成的资源浪费,避免因过量分配资源导致资源不足而影响业务. 答案:对. 3.下列关于 ...
全球云数据中心发展预测白皮书2016~2021
1.超大规模数据中心 ● 超大规模数据中心将从2016年底的338个增长到2021年的628个.到2021年,它们将占所有已安装数据中心服务器的53%. ● 到2021年,超大规模数据中心内的 ...
有限服务器延时计算_新建三座超级数据中心，增超百万台服务器阿里云数据中心选址有何逻辑？...
每经记者:刘春山每经编辑:梁枭今日(7月31日),阿里云正式宣布,其位于南通.杭州和乌兰察布的三座超级数据中心正式落成,陆续开服,新增超100万台服务器的计算力.加上之前的张北.河源,阿里云已经建 ...
云数据中心网络遇到的问题_云数据中心面临安全问题，华为SDN解决方案有一个安全大脑...
CNET科技资讯网 9月23日北京消息(文/周雅):当越来越多的企业开始采用云服务,安全问题往往成为待考虑的问题.在传统IT环境中,企业默认的逻辑架构是可信的,数据在自己手里,系统部署在自己的数据中 ...
高校云计算机中心建设方案,最新某大学云数据中心建设方案.pdf
精品文档 xxxxx大学云数据中心建设方案 2015/11 精品文档精品文档目录第1章云数据中心总体方案 3 1.1 设计原则 3 1.2 系统建设拓扑图 4 1.2.1 xxxxx大学智慧 ...

高度虚拟化，成就云数据中心

高度虚拟化，成就云数据中心相关推荐

最新文章

热门文章