交通拥堵已经成为当今时代与每个人息息相关的问题,它直接影响了我们在现代社会的生活体验。传统的分布式交警管控方式,已无法解决急速扩张的汽车保有量与紧张的公路资源之间的矛盾,这显然也不是互联网时代解决问题的一贯思路。所以我们有了品类繁多的互联网导航系统,它可以在出发前就根据全城的实时路况为驾驶者推荐最优路线,甚至当途中突遇堵车时,可以快速调整路线。这是一个看上去很棒的方法,前提是所有的驾驶者都会听从电子导航的指挥,但看看路上的漫漫长龙,就能感受到现实的骨感。假如能有一个超级警察,可以让所有的车辆都按照规定线路行驶;并且摩托车、小汽车、大货车的通行情况可以根据当前的路况随时调整;当发生拥堵时,可以让救护车、消防车、公交车等具有畅通无阻的特殊通道,相信城市交通问题将大大缓解。那么问题来了,这个超级警察什么时候才能降临呢,5年后,10年后,也许更久。但这科幻般的场景,在腾讯的网络世界里已然来临。

2017年12月,腾讯DCI网络深圳Region成功上线了全球首个基于交换机实现的SDN集中控制的Segment Routing Traffic Engineering方案。该方案经过三年多的研究探索及15个月的开发测试,基于Segment Routing技术和SDN思想,率先实现了对10w服务器级别的IDC园区间通讯,进行全局视角的、带宽利用率和链路质量等多维度、可定义约束条件的智能调度。腾讯DCI网络向着打造软件定义的、开放的高度智能化网络的目标又迈出了重要一步。

图1 网络拓扑展示示意图

背景介绍

腾讯DCI网络自创建之初,至今已经历过数次技术演进,其中2011年的IP向MPLS技术的演进,是腾讯DCI网络发展的重要里程碑之一。随着腾讯在各领域业务的极速增长以及开放生态的需求,DCI网络需要提供多业务承载的、灵活性和扩展性更强的QoS能力;另一方面,传统的基于IP路由技术的网络,在流量调度方面的能力显得捉襟见肘。

MPLS技术在运营商网络中已有超过十年的成熟应用,基于MPLS技术实现的RSVP-TE协议,提供了完整的流量工程方案,网络设备可以基于不同的服务等级进行隧道带宽预留和路径计算。但是RSVT-TE由于协议设计和实现的复杂性,在实际应用中遇到了很多问题。比如其复杂的协议交互流程,对设备的软件实现带来了很大的挑战,并且当网络规模不断扩大,TE Tunnel数量逐渐增多,所有隧道路径的首节点、传输节点、尾端节点都需要维护大量的LSP信息,这对于设备性能的消耗十分显著。

如今腾讯在全球已拥有百万级服务器规模,面对如此庞大的网络,以及在云上用户业务对网络性能提出的更加严苛的要求下,我们必须选择一个更加有效的流量工程方案。也正是在这样的背景下,腾讯DCI网络在刚刚过去的几周,完成了再一次的重大技术演进,基于SDN集中控制的SR-TE流量调度方案成功上线。

Tencent Defined SR TE

Segment Routing技术自提出以来就在行业内引发了广泛的关注和讨论,作为以太网领域“继MPLS之后最具革新意义的网络协议”,现在已经具备了多个RFC draft,同时业界主流网络设备供应商也纷纷在软硬件方面提供了全面支持。但是至少到目前为止,还没有形成一个统一的、标准的应用方案。腾讯作为全球互联网行业的领导者和先行者,结合自身网络场景特点和需求,借助SR和SDN技术自主设计了完整的SR TE集中控制流量调度方案。该方案无需网络设备供应商对现有IGP协议进行拓展开发,SR相关控制层面完全由控制器实现,为方案的快速落地和稳定运行奠定了基础。之所以选择了SR技术,除了其在设计理念上利用了源路由技术天然避免了LSP对传输节点和尾节点的压力,更是看重了其与SDN思想完美结合的能力。传统的分布式流量工程方案只能基于单一节点进行流量调度,引入了SDN控制器,就可以实现基于全局信息对Tunnel进行路径计算,从而达到提高整网利用率的效果;同时,将路径计算的控制层转移到控制器,为用户自定义、可编程的实现流量调度提供了极大的便利。

图2 方案部署流程示意图

为了提高方案的可靠性,我们设计部署了TE的Hot-Standby保护、多场景的BFD保护等方案,同时结合控制器和智能网管系统开发实现了一键隔离、一键逃生等功能,确保在链路故障、网络节点故障、控制器故障等场景下业务流量可以进行优雅切换。

开放定制的控制系统

作为一个SDN集中控制方案,在设计时对转发层面进行尽量简化的同时,势必将更多的控制层功能上移到了控制器,在逻辑上增加了控制器的实现复杂度,这也是SDN控制器最有价值的部分。考虑到腾讯复杂、多厂商设备共存的网络场景,我们选择了具有丰富南向协议、平行可扩展的开源控制器平台Opendaylight作为我们底层的核心控制器平台,并结合SR-TE流量调度方案进行了定制化的开发与增强。

图3 SDN控制器架构示意图

图3为我们控制器的一个整体架构。在南向,我们使用当前成熟的BGP-LS协议动态收集网络拓扑与TE属性,并结合腾讯智能网管平台所提供的多维度网络参数(i.e流量,延时,丢包率等),使用定制化的路径计算算法进行TE LSP路径的动态实时调整,以实现“上帝视角”的网络资源最优分配。在网络故障或拥塞场景下,算法可根据隧道优先级进行智能优化,优先将低优先级隧道绕行,解决网络拥塞问题,同时保障网络SLA。在腾讯复杂的网络场景下,存在着多厂商转发设备共存的环境。在控制器南向方面,我们使用成熟的NETCONF协议。同时,我们致力于推动基于OpenConfig YANG的配置标准化。通过统一模型,屏蔽多厂商设备差异,实现转发设备的统一管理和配置。未来,我们会继续探索更加高效的南向通道(如:BGP SR-TE Policy等),以实现控制器更加快速敏捷的调整网络路径。在可靠性方面,我们增强优化了开源ODL平台的集群机制,解决了网络延时场景下数据同步效率问题,实现了控制系统的跨区域部署容灾,提供了最可靠的DCI网络控制系统。网络的开放性一直是我们在SDN探索道路上的目标之一。在SR-TE流量调度系统中,我们将智能网络路径计算能力通过控制器北向接口开放给腾讯丰富的业务场景,实现业务定制化的网络算路请求。如:流量负载均衡、延时最短、丢包率最低等。

简化的数据平面

完善的SDN控制器设计和实现,大大降低了对转发设备的复杂度要求,让整个方案在基于ASIC芯片的交换机上实现成为可能。无论交换机厂商采用商用套片还是自研芯片,只需要在现有逻辑下增加对Segment Routing相关表项和标签栈封装的支持即可,无需对现有Pipeline进行改变;另外通过对现有ACL能力的运用,可以完整的实现CBTS(Class-Based Tunnel Selection)功能。这意味着我们不需要再通过购买昂贵的基于NP芯片的路由器来实现复杂的流量工程,每100G网络建设成本下降为之前的1/10甚至更低。随着ASIC芯片厂商对于用户最前沿技术需求的不断追逐,以及芯片设计上逐渐提升的可编程能力,我们看到尤其在OTT基础网络场景中,交换机和路由器在能力上的界限已逐渐模糊,相信未来成本相对较低的基于ASIC芯片的核心交换机会成为DCI网络的主流。

收益与展望

全新的流量调度方案帮助腾讯提升网络平均带宽利用率15%以上,在每年超过100T的数据中心互联带宽建设背景下大大降低了网络建设成本,并且对多点故障等极端场景下引发的流量拥塞可实现秒级自动检测和调度。未来随着骨干网IPv6技术的推进,基于Segment Routing技术的流量调度方案也将会随之进行更具有创造性的演进,诸君敬请期待。

本文转自“鹅厂网事”公众号

腾讯DCI上线基于集中控制的SR-TE方案相关推荐

  1. 腾讯DCI网络SDN SR-TE方案详解

    中国SDN/NFV大会由SDN/NFV产业联盟联合中国通信学会.中国通信标准化协会共同举办.作为国内规格最高.专业性最强.规模最大.影响最广的SDN/NFV技术产业盛会,"2018·中国SD ...

  2. mysql 表上线_腾讯云上线数据库 MySQL 8.0 版

    原标题:腾讯云上线数据库 MySQL 8.0 版 北京商报讯(记者 魏蔚)7月8日,腾讯云正式发布数据库MySQL 8.0版,通过优化锁系统,事务系统等模块,进一步提升性能,使得QPS(每秒查询率)超 ...

  3. 互联网快讯:腾讯新闻上线数字藏品馆;极米多款产品受消费者青睐;微信更新IOS系统朋友圈可发20张图片

    国内要闻 安徽提出鼓励降低房产首付比例 以促进大宗商品消费: 微信重磅更新!IOS系统发朋友圈可以选择 20 张图片,超过 9 张图片会提示可生成视频,拜年红包功能封面已升级为视频: 针对委员提案建立 ...

  4. 互联网日报 | 腾讯地图上线聚合打车服务;瑞幸咖啡等公司被罚6100万元;中通快递下周二香港上市...

    今日看点 ✦ 华住集团正式登陆港交所:市值近千亿港元,上市前夜遭做空 ✦ 腾讯地图上线聚合打车服务:与滴滴深度合作,将陆续开放 ✦ 盒马首家X会员店10月1日亮相上海,配送范围覆盖20公里内 ✦ 国家 ...

  5. 腾讯云上线版权登记服务啦!

    网易云音乐又出圈了 最近,由于评论区的"丧文化"盛行,评论中大量充斥着现编故事.卖惨情怀,被网友群嘲为"网抑云阴乐",为此,网易云音乐连忙推出"云村评 ...

  6. 腾讯云大学-基于云的153个场景实验案例

    没有接触过云服务器的很多人首先会产生第一个疑问: 云服务器能做什么,有什么具体的应用场景吗? 其实人家腾讯云专门搞了一个实验室的案例展示,里面有153个实验操作. 腾讯云大学-基于云的153个场景实验 ...

  7. 腾讯英特尔联手推出实时视频美颜方案

    腾讯英特尔联手推出实时视频美颜方案 发布时间:2014-09-24 17:56:00 来源:比特网 作者:厂商投稿 width="67" height="24" ...

  8. 基于Elasticsearch的数据报表方案

    文  | 闵令超 网易智企高级应用开发工程师 前言 数据报表分析对于企业管理者的分析决策有着至关重要的作用,因此数据报表的灵活可用以及数据的准确性显得至关重要.本文会介绍基于 Elasticsearc ...

  9. 用FFmpeg搭建基于CNN的视频分析方案

    Photo by Lukas from Pexels FFmpeg作为一个集录制.转换.音/视频编码解码功能为一体的开源框架,自然也需要考虑怎样去和当下流行的视频分析技术融合.本文来自英特尔网络平台部 ...

最新文章

  1. 在ubuntu上安装最新稳定版本的node及npm
  2. C++ STL 初步介绍01
  3. c语言黑白棋程序设计报告,C语言课程设计黑白棋
  4. Python3+RobotFramework+pycharm
  5. OpenResty缓存
  6. flink的Yarn模式
  7. jQuery.qrcode 生成二维码,并使用 jszip、FileSaver 下载 zip 压缩包至本地。
  8. swc反编译工具_JPEXS Free Flash Decompiler(Flash反编译工具)v11.3.0 中文免费版-ucbug软件站...
  9. 《Go语言实战》学习笔记——包
  10. Tensorflow saved_model.pb 文件转成 saved_model.pbtxt文件
  11. 一个很难的sql面试题
  12. STM32L476+STM32cubeMx+Freemodbus移植记录
  13. 【Maven】创建模块时出现Invalid packaging for parent POM
  14. 如何查看wifi设备
  15. 【数据结构】两栈共享空间(双端栈)
  16. NodeJS C++ Addons基础
  17. 超声波风速风向传感器
  18. 北京市社保定点医疗机构查询【2021年1月】
  19. 屏蔽各类弹窗广告(WPS、智能云输入法)
  20. 【分享】网络丢包故障处理方案

热门文章

  1. android120 zhihuibeijing 开机页面
  2. Android -- DragDrop
  3. 字体大宝库:26款新鲜出炉的高品质免费英文字体
  4. 牛客多校1 - Infinite Tree(虚树+换根dp+树状数组)
  5. POJ - 1190 生日蛋糕(dfs+剪枝)
  6. Docker教程-简介
  7. HDU4082(相似三角形的个数)
  8. VIM进阶-宏Macro
  9. 数据库脱机和分离的区别
  10. 带你深入理解分布式事务,掌握后台分布式核心技术,PS:送5本!