1. 引言

SD-WAN首次出现于2015年，随着技术、架构以及商业模式的快速发展和完善，已成为众多企业解决传统WAN架构封闭、业务体验难保障、业务部署慢和运维困难等问题的首要选择。SD-WAN搭乘云计算和SDN技术的快车，能够将企业的分支、总部以及多云/数据中心互联起来，应用在不同链路之间选择最优路径进行传输，组建安全、可靠、稳定的企业WAN网络，部署简单，运维方便，为企业提供优质的上云体验。

2. SD-WAN技术介绍

企业WAN（广域网，Wide Area Network）历经TDM（时分复用电路）到Packet-over-SONET（同步光纤网上分组数据），再到MPLS（多标签协议交互）以及以太网接入的过程，虽然所用技术发生了翻天覆地的变化，但是仍然存在WAN架构封闭、带宽昂贵、服务配置周期长、业务体验差等问题。
在此背景下，SD-WAN应运而生。SD-WAN（Software Defined Wide Area Network，软件定义广域网），是SDN（软件定义网络）技术在WAN（广域网）中的一种特定应用场景，多用于企业分支、总部和数据中心/多云之间的互联互通，其典型特征是将网络控制能力通过软件方式“虚拟化”，支持可感知的网络能力开放，提供一种快速、低成本的部署方式，极大程度的降低企业WAN成本，显著提高网络连接灵活性，能够有效解决上述问题，受到企业、运营商以及通讯设备商的热烈追捧。

2.1. 术语

在SD-WAN应用场景中，一般涉及以下术语和缩略语。

序号	术语/缩略语	英文含义	中文含义
1	Tenant	Tenant	租户，一个逻辑概念，SD-WAN服务的租用方，SD-WAN一般以租户为基本单位来分配资源，建设网络连接，保障每个租户之间网络隔离。
2	Site	Site	站点，企业的分支、总部、数据中心以及云上部署的基础设施等都可以成为站点，SD-WAN在不同站点之间建立连接，构成一张互联互通的WAN网络。
3	CPE	Customer Premise Equipment	用户前置设备，一般以传统的硬件盒子的形态部署企业站点，提供接入服务。
4	OVS	Open vSwitch	开放虚拟交换机

2.2. 技术架构

近年来，SD-WAN虽然发展迅速，但是没有一个事实的衡量标准，各家技术差别较大。目前，主流市场上，按照SD-WAN控制器对网络域的控制边界，SD-WAN技术架构大致分为四类：无PoP网络架构、云端PoP架构、混合架构和原生SD-WAN架构。

2.2.1. 无PoP网络架构

在原先单一的WAN接入方式基础上，提供多种接入方式。在企业分支、数据中心、公有云上等站点分别部署CPE/vCPE，与SD-WAN控制器互联，CPE/vCPE之间利用互联网和VPN技术实现加密安全连接，网络架构如下图所示。

图1 无PoP网络架构
在无PoP网络架构中，分支机构通过隧道连接，由SD-WAN控制器统一管理控制，简化了传统WAN的操作和管理，组网更灵活。但是如果企业用户有Full-mesh的网络需求，隧道管理就会比较复杂，因此适用于中小规模的企业。

2.2.2. 云端PoP架构

云端PoP架构中，SD-WAN服务商提供多个接入点（PoP），PoP点的一侧与企业分支机构的CPE互联，另一侧与运营商的MPLS网PE直连，在PoP之间建立专线骨干网以保障SLA，解决跨运营商的网络质量问题。企业分支与总部可就近接入PoP点，通过PoP点进行互联互通。云端PoP架构如下图所示：

图2 云端PoP架构图
云端PoP架构采用PoP接入，大大简化隧道数量和配置，是SD-WAN服务商向中大型企业推荐的经典架构，尤其适用于分支众多、有跨省业务的中大型企业。

2.2.3. 混合架构

在混合架构中，SD-WAN控制器可纳管1个或多个运营商的MPLS网PE、租户VPN等，支持与客户原有VPN网络进行混合组网，可方便对接各运营商骨干网，实现全国范围内集成VXLAN、IPSEC VPN、MPLS VPN、SD-WAN等多种应用技术的WAN解决方案。

图3 混合架构图
混合架构集成多种Overlay技术，解决了运营商“最后一公里”问题，打通了MPLS租户VPN与SD-WAN租户VPN，适合有大量云联网业务的企业。

2.2.4. 原生SD-WAN架构

在原生SD-WAN架构中，SD-WAN控制器统一纳管各分支站点的CPE/vCPE、网关设备、运营商骨干核心网PE、运营商骨干路由器/交换机设备等，实现了从接入到骨干网的端到端统一管理和编排的完整架构，能够管理、监控全网的业务流量，是一个比较彻底和原生态的端到端SD-WAN架构，也是运营商的SD-WAN目标架构，具体架构如下图所示：

图4 原生SD-WAN架构图

2.3. 应用场景

SD-WAN面向大、中、小、微型企业，提供互联网访问、分支互联和入云管理等多种应用场景，满足用户不同网络连接需求。

2.3.1. 互联网访问

在SD-WAN场景中，用户可通过CPE直接访问互联网，满足企业用户本地上网需求。CPE作为企业出口网关，可直接与Internet互通，并提供应用策略、网络QoS、ACL等精细化流量管理服务。

2.3.2. 分支互联

SD-WAN根据企业实际需求，可在各个站点的CPE设备之间基于Internet、MPLS、专线、4G、5G等多种WAN链路建立隧道，支持隧道两端的分支机构通过隧道互联互通。SD-WAN将每个企业作为一个租户，基于租户进行网络资源的规划建设，支持对不同租户构建相互隔离的VxLAN封装的2层或3层叠加VPN网络，同时可根据企业的业务发展灵活调整，弹性伸缩网络分支站点，组网安全、便捷，运维自主可控。

2.3.3. 入云管理

在云计算发展的如火如荼的今天，多数企业选择租用运营商或第三方厂商的公有云服务，替代传统的数据中心，在云端部署企业业务，降低企业成本。SD-WAN提供Internet、MPLS、专线、4G、5G等多种接入方式，通过在云端以虚拟机或裸金属形式部署vCPE服务，与部署在企业分支的CPE之间建立隧道，打通从企业用户本地到云内的网络通道，实现一跳入云，并提供安全组管理、访问控制管理、应用策略管理等功能，为企业用户提供安全、可靠的上云服务。

3. 高可用介绍

可用性主要用于描述服务可用的时间段以及系统响应用户请求的速度，解决系统架构中的单点故障、负载均衡等问题，根据系统的计划和/或非计划维护周期、故障恢复周期等因素进行计算，通常表示为百分比。例如，99%的服务可用性表示系统最多有1%（全年3.65天，即87.6小时）的停机时间。具体地，在2021年7月，B站崩溃长达3小时，故障期间B站主站、手机端和小程序等均无法访问，此时B站的高可用性低于99.99%。
高可用性（High Availability，简称HA）是指在系统单个组件故障的情况下，用户仍然能够继续使用和访问服务的能力。衡量高可用性有两个维度：
(1)RTO（Recovery Time Objective）：指故障发生后，服务恢复的时间。RTO值越小，系统的高可用性越好。理想情况下，RTO=0，表示服务宕机后，立即恢复。
(2)RPO（Recovery Point Objective）：指服务恢复时，向前恢复的数据的时间长度，例如RTO=1天，代表服务恢复时，采用1天前的数据，即之后1天内的数据丢失。RPO值越小，系统的高可用性越好。理想情况下，RPO=0，表示服务采用实时同步数据，没有数据丢失。

在SD-WAN场景中，一般针对网络链路、CPE/vCPE设备、控制器等进行高可用保障，技术手段包括：多链路接入、冗余设备、控制器集群模式部署等，并提供告警管理、链路质量监测等功能，简化运营运维流程。
在云计算领域，高可用一般包括以下内容：

应用级的高可用：该级别的高可用方案一般由用户自行实现，如微服务实现负载均衡，keepalive+nginx实现主从/多主配置等；
虚拟机的高可用：云计算服务一般提供虚拟机的冷备、热备、冷迁移、热迁移、重启、重装系统、重建镜像等功能，支持多种虚拟机级别的高可用；
云计算各服务组件的高可用：云计算服务组件众多，一般采用集群模式，部署冗余节点，此外各组件的API和内部工作组件均为无状态，易实现多活高可用，提供负载均衡；
物理IT层的高可用：物理IT层包括路由器、交换机和存储盘等物理设备，一般通过共享磁盘、同地冗余设备、异地容灾备份等来实现；
基础设施的高可用：基础设施包括电力、空调、防火设施等内容，一般通过冗余设施来实现，如备用电源、风扇等。

4. 移动云SD-WAN产品——大云云盒

大云云盒作为移动云的SD-WAN产品，为企业提供一跳入云服务，实现了通过Internet就近安全接入移动云，助力用户快速构建企业分支、总部与移动云之间的访问通道，为企业用户提供更加便捷、灵活、安全的上云体验。

图5 大云云盒产品
大云云盒拥有丰富的产品功能，提供数据安全保障、性能实时监控、链路自动优化、组网拓扑可视化等多种服务。
1、客户控制台自助服务：大云云盒产品通过自研SD-WAN控制器对CPE、vCPE进行管理，通过业务开通模块实现云资源与SD-WAN设备的业务编排，提供设备管理、网络管理、流量监控、产品组合等服务；
2、vCPE移动云自动化、分钟级部署：支持vCPE在移动云云上一键自动化创建，借助移动云SDN自身优势能力，SD-WAN与SDN深度耦合，实现自动化创建，包括云主机、子网、公网IP、安全组、vCPE服务等，实现业务分钟级开通。当业务创建失败后，可实现云上资源按既定格式及时序进行回退、重试或保留现状，提供一种创新式的云上自动化创建vCPE的容错机制；
3、Overlay技术访问移动云Underlay业务：大云云盒支持访问移动云共享域POD内业务产品，实现跨域访问。云端vCPE部署在用户的VPC内，在Overlay网络内，通过在移动云Underlay层网络中预置打通，实现客户按需配置访问特定Underlay业务。如可实现用户侧内网通过CPE直接访问移动云上的数据库产品、存储产品，打通用户侧与云侧局域网网络；
4、自助化网络：大云云盒支持为不同客户、不同业务场景提供各类网络模型，用户可根据自身需求在移动云控制台自助化构建网络，如构建一张独立的POP网，抑或构建独享型vCPE用于实现业务上云访问；
5、vCPE高可用部署：在云上VPC中可部署多个vCPE，关联不同的弹性公网IP，并采用共享带宽的方式关联不同的弹性公网IP，满足用户对高可靠性的需求；
6、作为云专线备线或负载均衡：在大云云盒CPE和vCPE中配置隧道和路由优先级，可配置为多种选路策略，并通过监控隧道和链路质量进行动态路径切换；
7、支持客户端远程办公：大云云盒提供客户端，企业员工可申请账号，通过客户端远程办公，满足企业用户在疫情、出差、居家等时期的远程办公需求。

4.1. 多种高可用解决方案

大云云盒为满足企业用户对可靠性的严要求、高标准，推出多种高可用解决方案，助力企业在故障期间，实现业务的快速切换，提升用户体验。

4.1.1. 互联网+云专线实现双WAN接入

大云云盒支持企业通过互联网（公网IP）就近接入移动云。然而，在生产实践中，部分企业对于业务中断零容忍，要求云商提供多条链路，在故障期能够快速切换，实现业务不中断，用户无感知。为此，大云云盒推出互联网+云专线双WAN方案，支持多条链路入云，例如通过云专线实现高质量入云，通过互联网IPSec隧道实现低成本加密入云，并在大云云盒中配置主备策略或基于流的负载均衡，提供云专线备线和/或负载均衡的能力，满足用户提升可靠性、降低成本的要求。同时，SD-WAN控制器负责监测链路质量、下发路由配置等内容，提供端到端实时网络监控、组网拓扑可视化等增值服务，帮助运维人员在故障发生时，能够快速定位故障，解决问题。
大云云盒互联网+云专线双WAN方案组网图如下所示：

图6 互联网+云专线双WAN接入方案组网图
图中，从客户PC到云内VM之间的蓝色链路为数据传输通道，专用于传输用户数据，红色线路为用户流量传输示例。默认情况下，SD-WAN控制器会基于网络质量，采用动态路由选择算法选择最优路径进行数据传输。特别地，SD-WAN控制器支持用户根据自身业务特点，基于应用识别技术来指定流量链路（如用户敏感数据只通过云专线传输），此时用户自定义链路规则的优先级高于默认的动态路由选择算法，业务数据通过用户指定链路进行传输，不再应用路由选择算法。
在生产实践中，CPE（Customer Premise Equipment）安装在客户侧；vCPE（virtual CPE）部署在云端，与用户在云上的业务虚机互通。SD-WAN控制器分别在CPE和vCPE之间建立两条数据传输的隧道：一是基于互联网的IPSec加密隧道，二是基于云专线的VXLAN隧道，实现企业用户本地和云端的网络互通。
在实际使用中，大云云盒可根据用户的实际需要，灵活配置，设置双WAN链路为主备模式或负载均衡模式，在满足不同应用的SLA需求的同时，降低企业成本，助力企业降本增效。

4.1.2. vCPE高可用

大云云盒为解决企业用户入云访问时，vCPE的单点故障问题，推出vCPE高可用方案，在vCPE侧部署冗余服务，如下图所示：

图7 vCPE高可用方案组网图
在图7的vCPE高可用方案中，CPE通过互联网分别与两个vCPE建立IPSEC隧道，CPE上配置两条到云内子网的overlay路由。其中，如果企业用户希望两个vCPE做负载均衡，则CPE两条Overlay路由的优先级相同；如果企业用户希望两个vCPE做主备节点，则CPE上到主节点vCPE路由的优先级高于备节点。
同时，客户需订购两个公网IP和1个共享流量包，两个公网IP通过共享流量包共享数据流量，降低流量费用。两个vCPE分别绑定对应的公网IP，并在两个vCPE之间建立一条VXLAN隧道，在客户虚拟私有云对应的vRouter上配置到客户侧子网的回程路由，打通云内子网与客户侧网络。

4.1.3 故障切换介绍

大云云盒提供丰富的告警管理功能，包括CPE/vCPE设备离线、设备配置不一致、CPE认证失败、链路中断、隧道异常、控制器CPU/磁盘过满、CPU温度过高等内容。同时提供租户级别的组网拓扑可视化功能，支持用户查看其组网拓扑，并对异常链路和设备做标红高亮提示，方便运维人员快速发现故障节点，降低运维难度。

图8 大云云盒故障告警
在部署实施中，SD-WAN控制器与各CPE/vCPE建立管理通道，监测链路质量，当某条链路故障时，可以自动实现故障切换，无需进行手动配置修改，以vCPE主备方式说明，vCPE负载分担模式下类似不再赘述。故障切换主要针对以下场景：
场景1：CPE与vCPE之间主用隧道连接中断

原有流量通过主用vCPE进行转发，当CPE与主用vCPE隧道故障时，控制器会重新计算路由，将故障隧道上的路由条目进行撤销；
CPE根据隧道状态自动进行故障切换，入云流量转发至备用vCPE，并从备用vCPE直接转发至vRouter，流量不再通过主用vCPE中转；
VM访问客户侧子网时，vRouter根据hash结果，部分流量仍会发送至主用vCPE，这部分流量会通过主备vCPE之间隧道转发至备用vCPE，最后通过CPE与备用vCPE之间链路转发至客户侧PC。

场景2：主用vCPE与vRouter之间链路中断

原有流量通过主用vCPE进行转发，当主用vCPE与vRouter链路不通时，会通过vCPE之间迂回路径进行转发；
CPE根据隧道状态和隧道优先级，入云流量仍通过隧道转发至主用vCPE，通过主备vCPE之间隧道转发至备用vCPE，最后转发至vRouter；
VM访问客户侧子网时，vRouter根据链路状态，流量发送至备用vCPE，通过CPE与备用vCPE之间链路转发至客户侧PC，不再经过vCPE之间迂回链路。

场景3：主用vCPE故障

原有流量通过主用vCPE进行转发，当主用vCPE故障时，所有流量会通过备用vCPE进行转发；
CPE根据隧道状态自动进行故障切换，入云流量转发至备用vCPE，并从备用vCPE直接转发至vRouter，流量不再通过主用vCPE中转；
VM访问客户侧子网时，vRouter根据链路状态，流量发送至备用vCPE，通过CPE与备用vCPE之间链路转发至客户侧PC，不再经过vCPE之间迂回链路。

4.2. 写在最后

目前大云云盒提供租户独享型的云端PoP（vCPE）架构，并通过多vCPE部署实现高可用，对于拥有较多分支的大型集团企业，可以很方便地搭建自己的SD-WAN PoP骨干网，满足分支入云及分支互联的需求。但是对于一些小的连锁企业，独立部署一套云上PoP骨干网的成本可能较高。中国移动目前正在基于移动云资源池、云专网搭建一张原生的多租户共享的PoP骨干网，每个PoP点内提供多种级别的高可用方案，可以较低成本、较高质量满足各类客户的接入需求。

参考文献：

http://www.uml.org.cn/xjs/202010214.asp
https://zhuanlan.zhihu.com/p/393181282

移动云SD-WAN高可用方案探讨相关推荐

大型网站系统架构实践（五）深入探讨web应用高可用方案
从上篇文章到这篇文章,中间用了一段时间准备,主要是想把东西讲透,同时希望大家给与一些批评和建议,这样我才能有所进步,也希望喜欢我文章的朋友,给个赞,这样我才能更有激情,呵呵. 由于本篇要写的内容有点多 ...
rocketmq docker集群_【解构云原生】RocketMQ高可用方案调研及On K8S设计展望（下）...
本文由作者授权网易云发布,未经许可,请勿转载. 作者:李海燕,网易杭州研究院云计算技术部工程师上文链接:[解构云原生]RocketMQ高可用方案调研及On K8S设计展望(上) 四.RocketMQ ...
让数据库无惧灾难，华为云GaussDB同城双集群高可用方案正式发布！
摘要:在华为全联接2021期间,华为云GaussDB(for openGauss)正式推出重大内核新特性--同城双集群高可用方案,提供金融级高可用服务,支持RPO=0 .RTO<60s的同城双集 ...
基于mycat高可用方案——数据库负载（基于阿里云）
引言传统企业级应用一般采取单台数据库,吞吐所有应用的读写,随着互联网的高速发展,以及微服务架构越来越普及,往往采用分库分表来支撑高速增长的大量业务数据吞吐.分库分表主要有两种方式:水平分表和垂直分库 ...
SAP云上自适应跨可用区高可用方案
SAP云上跨可用区高可用架构现状在SAP云上官方架构设计指引中,展示了如何利用其多可用区的技术优势.诸如Route 53.NLB等基础设施服务以及SAP或操作系统的高可用技术实现端到端的跨可用区 ...
联想企业云盘高可用方案：为数据提供万无一失的保障
云存储和大数据背景下,数据呈爆炸式增长.研究显示,2020年全球非结构化数据总量将达到35.2 ZB,比2009年的0.8 ZB猛增44倍.对企业来讲,如何高效管理数据并发挥数据价值,进而为企业创造更 ...
腾讯云mysql高可用方案_腾讯云数据库团队：MySQL数据库的高可用性分析
作者介绍:易固武,腾讯高级工程师,参与腾讯账号安全建设,腾讯数据仓库(TDW)优化改造,腾讯云数据库等项目,对大规模分布式存储和计算系统有浓厚的兴趣和经历 MySQL数据库是目前开源应用最大的关系型数 ...
腾讯数据库RTOlt;30s,RPO=0高可用方案首次全景揭秘
为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库.云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙<你想了解的国产数据库秘密,都在这!&g ...
openstack高可用方案
openstack高可用方案 HA 将服务分为两类: • 有状态服务:后续对服务的请求依赖于之前对服务的请求.OpenStack中有状态的服务包括MySQL数据库和AMQP消息队列.对于有状态类服务的 ...

移动云SD-WAN高可用方案探讨