云网融合助力大型企业网络底座布局

【作者介绍】
支敏慧：中国移动云能力中心技术咨询委员会委员，云网管理产品部产品规划组组长。目前负责云网产品体系规划和商用推进工作，深入研究云网融合关键技术，对5G、SDN/NFV和云网一体化智能调度有深入的研究和丰富的实践经验。

概要：随着我国云计算领域的不断发展以及政策的大力推动，企业在云端部署信息系统已经成为了一种趋势，企业上云意识和能力不断增强。云计算业务的开展需要强大的网络能力的支撑，网络随着云计算业务的不断落地通过优化网络结构，以确保网络的灵活性、智能性和可运维性。下面就大型企业云专网建设提出整体解决方案，解决运营商专线开通周期长、服务不开放的问题，解决企业专网普遍存在安全性、业务上线慢和Qos保障机制弱的问题。

1 引言

从2006年IBM和谷歌联合推出云计算这个概念开始算起，不管是最初的单纯公有云私有云或者到现在企业上云的混合多云时代，IaaS产品越来越同质化，因此云网之间的高效协同将成为体现产品差异化竞争能力的重要指标。不论是对于运营商还是互联网云服务商来说，云网融合是一种云服务的类型更是打造了一种面向企业客户的统一平台和入口。对于运营商来说，云网协同能力的发力，将决定其面向TO B客户的产品服力，更影响关于云业务的生态布局能力和商业模式。
本文深入研究当前大型企业上云的需求重点解决网络层面的解决方案，通过剖析现有手段的不足，针对企业整体组网提出两个方面的解决方案，首先解决总部与跨省基地、总部与省内基地、总部与分支的网络及SD-WAN的组网建议，建立大型企业的云专网；其次提供网络能力云上服务，将网络业务需要的调度、编排云网数据和能力，建立定制化、一站式、全方位的智能服务平台。

2 某大型企业专网现状

面向国际分支网络：通过P条MPLS专线方式搭建，实现2个国内节点和7国外分支的专网；通过CE+CMNet网络（中国移动互联网China Mobile Net），CE作为边界设备，向下负责企业内网的接入和汇聚，向上负责与CMNet的对接，CMNet骨干网络负责客户各类业务VPN的长途承载。
面向国内分支网络：以A和B两个城市为中心，汇接全国各个基地。其中基地之间的互访需要由核心节点A和B进行集中控制，而涉及A市的3个数据中心之间，通过跨区域专线两两互联。

2.1 国内运营上在对大型企业专网支撑现状问题

1.专线开通周期长:在网络部署阶段跨省专线的开通周期至少在1个月以上，国际专线一般长达90天。
2.业务类型服务僵化: 目前运营运维依赖手工调整带宽，不及时且易出错，同时出现问题难定位。
3.自身能力未形成向客户开放的服务：运营商强大的运维保障能力未能向客户完全输出，客户未能体验到覆盖全球的安全防护能力，同时面向客户的多维度可视化监控能力未能充分展现。

2.2 网络能力对企业业务支撑方面主要存在的问题

1.数据安全及访问控制措施不足：各个基地之间的访问控制措施实施复杂，部分IDC节点经常遭受DDOS攻击，数据安全性得不到保障。
2.新业务开放周期长：网络部署基本依靠人工现场配置，部署周期1~3月，同时新增业务开放往往需要新增加设备（如防火墙及应用加速设备）。
3.语音/视频等关键业务难保障：存在优先级冲突，对于关键应用无法识别，调度优先级级别低；存在带宽冲突，如业务高峰突发流量是平均流量3～5倍下对关键应用的冲击带来的服务质量问题。

3 整体组网

基于SDN超级控制器实现转发平台和控制平台，针对大型企业建议的整体组网如下：

转发平面

1、省内基地专线通过政企精品专网：面向省内A、B等基地，通过本地OTN/PTN网络出局，快速部署二层点对点专线，降低时延，提升业务体验。
2、省外基地专线通过MPLS/VPN：面向外省M、N等基地，直接接入CMNet网络，通过长途VPN获取至总部及其它基地的访问。
3、分支接入通过Internet/LTE：部分仓储基地或门店只有Internet接入；部分偏远区域，无法通过光纤接入。通过部署SD-WAN，通过Internet或LTE建立IPsec隧道访问总部及其它基地。支持基于应用或应用组设置主备链路，并智能选择链路进行数据转发。

控制平面

1、总部集中控制平台包括编排器、自服务界面和统一控制器。统一控制器集中控制Underlay和Overlay网络。
2、对于Underlay网络，提供对CMNet、省内城域网（OTN/PTN）和Internet的智能调度。
3、对Overlay网络提供SD-WAN CPE的集中控制和业务调度。

3.1 总部与外省基地互通的建设方案（MPLS）

1、省外基地接入CMNet：重要的分支节点通过CMNet骨干网接入，本地CE部署业务VPN，与CMNet PE进行跨域（OptionA对接）。
2、CMNet部署长途VPN：首先部署长途VPN（星型），在该企业接入的城市PE设备部署企业_vpn；其次依据客户要求部署QOS，确保用户关键业务类型得到严格保障；第三，在连接各基地的PE设备进行VPN对接，将企业总部VPN的业务地址通告给各个基地；最后在连接中心点的PE设备进行VPN对接，将企业各基地的业务地址通告给总部（A、B）。
3、中心点接入CMNet：中心节点设置冗余，主要包括A及B节点；A及B节点CE路由器通过CMNet线路接入企业业务VPN，并和海外其他接入节点实现互通。

3.2 总部与省内基地的互通（OTN、PTN城域网接入）

1、省内基地通过精品城域网接入：省内节点包含的城市主要有A和B等6个点，OTN和PTN网络作为承载政企客户的精品网络，覆盖范围广，时延低。企业的配件工厂和基地可以就近接入政企承载专网。
2、构建二层点对点专网：在基地和中心接入节点部署U设备，通过主备PW(二层通道）来实现链路及节点的冗余备份；根据企业的业务特点，可实现基地与总部之间的互通以及任意两个节点之间的二层通信；提供几十兆~万兆速率的数据传输。

3.3 分支与总部间的互通（Internet接入）

通过部署SD-WAN用户制定策略，如选择Internet传输业务数据，或者禁止非工作类应用，降低链路带宽成本；支持基于应用/应用组设置主备链路，并智能选择链路进行数据转发，链路智能切换条件设置包括丢包、时延等参数；另外，支持LTE作为主链路或者逃生链路。

其中针对，SD-WAN的部署方式建议如下：在各节点部署具备AAR（基于应用感知的路由）能力的SD-WAN设备，按照对时延、抖动、丢包及带宽等网络质量不同要求进行业务类型区分。LTE接入作为SD-WAN的接入方式之一。
1、中心及基地SD-WAN部署：关键业务采用CMNet/OTN及PTN方式；普通业务采用互联网宽带。对于关键业务备份采用互联网宽带/LTE方式；对于国际互联网业务采用SD-WAN特定访问加速。
2、分支节点SD-WAN部署：关键业务采用OTN及PTN方式/互联网宽带；普通业务采用互联网宽带，关键业务备份采用互联网线路/LTE，部分不具备有线接入节点采用LTE的接入方式。
3、统一控制器：Underlay层面实现面向CMNet/省内城域网/互联网的智能管理调度，Overlay层面管理SD-WAN CPE。

4 面向企业提供的网络能力云上服务

根据企业对网络业务需要，调度、编排电信运营商云网数据和能力，建立定制化、一站式、全方位的智能服务平台，具备业务响应、运行维护和安全防护三位一体保障，支持在线业务订购、故障申告处理、网络主动维护、发现安全风险、智能分析等，支撑云网业务全生命周期运营，提供端到端、一体化、全透明的售前售中售后服务。

4.1 提供业务保障能力

通过业务自助在线订购操作，可以实现快速、灵活的云网业务（开通、关闭、提速、安全等）所点即所用，提供按需定制、随开随用的互联网化业务自助生态服务，同时支持业务订单状态实时查询、流程透明可视。提供如下7个业务服务能力：

在客户业务支撑方面强化互联网化体验，需要随时随地操作一站式服务、云网协同、实时开通带宽动态调整，自主管理，动态监控。

4.2 提供安全态势感知服务

安全态势感知采集多种安全数据源，利用可视化技术将过去和当下的威胁状态和趋势呈现出来，全天侯全方位实时感知全网安全风险状况,协助企业进行安全决策。基于DPI和DFI技术实时深度分析流量，具备全流量或xflow采样、覆盖2~7层安全检测和追踪溯源。依托大数据实时分析能力提供高效、实时异常流量检测服务。采用分布式部署、BGP牵引、近源清洗等先进技术覆盖所有企业基地、独享BGP带宽、超5000G和QPS防护能力的定制化服务，提供全面的DDoS攻击防护解决方案。

5 结论及未来工作

随着云网融合的不断推进，各行企业上云进度不断加快，中国移动作为运营商和云服务提供商不仅强化IaaS层能力为各行业提供性能保障的云服务，同时通过引入网络编排、能力开放、SDN技术不断加强云网互联互通的能力和不断探索如何基于体验保障进行上云专线和云间互联的网络规划、运维和优化建设。
我们也看到，企业客户的体验需求将不断被唤醒，如何建立一套分层次云网融合业务体验指标体系以及网络指标映射基线评价和保障云网融合领域的体验质量，也是决定云网业务发展和规模商用的重要课题。随着5G时代的到来，通过深度整合SDN和5G切片能力搭建智慧网络管理手段，将更好垂直行业发展，促进万物互联。

【参考文献】
[1] 5G时代的承载网，万芬，余蕾，况璟著，人民邮电出版社，2019.2
[2] SDN核心技术剖析和实战指南，雷葆华，电子工业出版社，2013.9
[3] 云网融合发展白皮书（2019），云计算开源产业联盟，2019.7
[4] 武传坤.三网融合下的信息安全问题[J].中国科学院院刊,2011年03期
[5] Flavio Junqueira, Benjamin Reed. ZooKeeper:分布式过程协同技术详解[M].谢超,周贵卿译.机械工业出版社,2016
[6] 袁广翔.软件定义网络技术发展与应用研究[J].现代电信科技,2014年04期
[7] 赵旭. 基于SDN的承载网技术研究[D]. 北京邮电大学,2014.
[8] 郭文刚. 基于SDN的大型企业网络研究[J]. 计算机技术与发展,2014,(8).doi:10.3969/j.issn.1673-629X.2014.08.042.
[9] 茅硕. 移动互联网时代的运营商战略初探[J]. 电信科学,2014,(3):140-142.doi:10.3969/j.issn.1000-0801.2014.03.025.
[10] 卢泉,林同. SDN/NFV技术及运营商应用趋势[J]. 移动通信,2016,(10):40-45.doi:10.3969/j.issn.1006-1010.2016.10.008.
[11] 韦乐平. SDN的战略性思考[J]. 电信科学,2015,(1):1-6.doi:10.11959/j.issn.1000-0801.2015016.
[12] 王志刚. 基础电信运营商加强政企发展思路的分析[J]. 移动信息,2015,(12):13-14.doi:10.3969/j.issn.1009-6434.2015.12.013.