揭秘网易视频云在数据传输方面的优化实战

摘要：在5月12号开幕的第七届中国数据库大会上，网易杭州研究院的服务端技术专家邱似峰从改善用户体验的角度出发，在数据传输优化方面分享自己的实战经验。如何让用户能够通过互联网最快的获取到云端的数据？如何能够保证在弱网条件下用户体验最佳？这些问题已经成为音视频服务实际应用的痛点。

截止到2015年末，中国在线直播平台数量接近200家，其中网络直播的市场规模约为90亿，直播平台用户数量业已突破2亿人次，行业发展开始驶入快车道。而随着视频直播市场的大爆发，对音视频服务的要求也越来越高。

事实上，视频服务行业的服务能力一直在提升和进步，网络直播的爆发带动了音视频服务从以产品为中心到以用户为中心的转变。在视频服务的1.0时代，巨量的音视频存储和带宽流量带来了丰厚利润，促使一批CDN厂商的崛起，建立起了相对完善的数据传输网络，能为客户提供全面的音视频服务。进入2.0时代后，视频服务迎来了“云时代”，一整套的云计算线上标准售卖方式极大降低了开发者的使用成本和售前售后成本，不过云服务能力增强的同时，具体落实的音视频技术有限。

可以这么说，视频服务1.0时代的“重产品，轻服务”和2.0时代的“轻产品，重服务”都不是终点，当前的视频服务3.0应该是以用户体验为王的时代。与之同时，基于云计算的视频云服务全面崛起，出现了网易视频云等打造一站式解决方案的视频云服务商。

在5月12号开幕的第七届中国数据库大会上，网易杭州研究院的服务端技术专家邱似峰从改善用户体验的角度出发，在数据传输优化方面分享自己的实战经验。如何让用户能够通过互联网最快的获取到云端的数据？如何能够保证在弱网条件下用户体验最佳？这些问题已经成为音视频服务实际应用的痛点。

移动端网络问题繁多，核心在哪？

国内网络环境的一个典型问题就是电信和联通的南北分隔，再加上难以统计的小规模运营商，网络环境似乎不容乐观，而访问国外节点的状况要更加令人堪忧。对于不少开发者来说，数据传输的优化已经成为影响用户体验的核心问题。

网络环境的恶劣主要体现在两个方面，一个是丢包，另一个是延时。WiFi、2G、3G、4G等等，相比于PC网络，移动互联网的一个显著特点就是网络环境不稳定，丢包现象比较严重，直接导致了客户端与服务端的连通率较低，致使文件上传下载速度很慢、成功率较低。而延时则是移动互联网和PC 网络所必须面临的问题，具体体现就是广域网高延时。举个例子来说，一个位于杭州的机房，想要和西北、华北、西南等区域的节点通信基本上有30ms～50ms左右的延时，在网络繁忙的时候这个数字要更加惊人。对于互联网巨头而言，可以通过增加机房和节点来解决这一问题，但不少开发者不得不面临移动网络环境复杂这一实际且必须要解决的问题。

邱似峰介绍说，移动互联网下的数据传输大致可以分为两个阶段，即客户端和基站的通信以及基站和数据中心之间的数据传输。前半段的特点是高丢包率，后半段的麻烦在于网络高峰期的延时。也就是说数据传输的核心问题是由网络造成的，网易视频云的解决方案也主要集中在网络层次上。就目前来看，网易视频云已经为客户提供了全面的端到端解决方案，并已经上线了直播、点播等功能满足多种行业的使用场景，而网易新闻、BoBo美女主播、网易云课堂等知名互联网产品的直播功能均是基于网易视频云提供服务的。

“网易本身就是视频云服务的使用者，我们从开发者的角度来打磨产品，解决了很多实际应用中所面临的问题”邱似峰介绍说。而在移动互联网环境下的数据传输上，网易视频云又重点做了哪些优化工作呢？

优化+投入，网易视频云的全球数据加速网络

作为国内最早部署云计算的互联网巨头，网易经历了内部研发到对外技术开放的过程，诸如网易云信、网易蜂巢、网易七鱼等都是网易对外开放的云计算服务。网易视频云作为网易云计算的又一重磅产品，必须要解决的就是建立全球性的数据加速网络，而网易视频云的解决之道就是技术优化和硬件投入。

据邱似峰介绍,网易视频云针对移动端场景设计了一套通用的并发上传协议，实现了多个分块并发上传，充分利用客户端上传带宽，而分块内部采用分片串行上传，有效解决了断点续传问题。而传统的标准OSS上传协议并没有为移动端进行专门设计，包括针对大文件场景设计的最小5M的分块上传协议，而用户在实际使用中所需要传输的文件一般只有几十KB。此外，网易视频云还根据移动场景优化了HTTP PipeLine，测试显示在国内上传速率提高了四分之一以上，而对国外的传输效果要更加明显。这样便有效解决了客户端和基站直接的通信，很大程度的减少了丢包。

而在边缘节点和数据中心的传输优化上，也就是广域网的优化方面，网易视频云实现了HTTP长连接池，避免了每次的TCP慢启动过程，并通过提升拥塞窗口完成了TCP拥塞控制。而为了达到更好的优化效果，网易视频云团队还对协议层、TCP层和HTTP层进行了优化。“我们选择了北京、成都、广州、西安四个节点进行了测试，其中对北京AWS为优化后的节点。结果很明显，上传50K数据时，北京AWS节点到杭州中心机房所花的时间要比未优化的网络在响应时间上至少缩短了50ms”邱似峰在DTCC上分享道。

基于网易强大的资金能力，网易视频云已经在国内实现了华北、华南、华中、西北、西南等几个核心大区的节点分布，并在北美、东京、新加坡、爱尔兰等进行了AWS布点以及香港专线，业已完成了全球上传加速网络的部署。有了这些硬件基础的支撑，再加上对DNS解析、域名劫持、小运营商多出口等开发痛点的解决，网易视频云在全球范围内构建了一个数据上下行加速体系，而网易视频云在实践过程中积累的数据传输优势也将通过视频云服务造福更多的开发者。

传统的数据传输正在发生快速演变，尤其是企业对数字化转型的迫切需求和云计算的普及，直接推动了超高密度数据中心的兴起。而如何应对数据传输量的爆发式增长、保证信息数据的可靠传输、有利于更加便捷的升级、有效应对能源消耗问题，以及减少运营成本等等，成了开发者不得不面临的新问题。或许，网易视频云等巨头系产品从用户体验出发的研发思路，对解决移动互联网时代的新问题有着不错的借鉴价值。

揭秘网易视频云在数据传输方面的优化实战相关推荐

网易视频云：游戏开发性能优化经验总结
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PaaS服务.在线教育.远程医疗.娱乐秀场 ...
邱似峰：网易视频云如何实现应用加速
2016年5月12日-14日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心正式拉开帷幕.作为国内数据库与大数据领域最大规模的技术盛宴,DTCC已经同大家携手走过七载春秋.本届是大会 ...
hbase实战技术分享案例【网易视频云技术分享】
网易视频云:HBase最佳实践-列族设计优化 http://jingyan.baidu.com/article/642c9d3414e5c8644a46f7f5.html 网易视频云:网易HBase基 ...
网易视频云：揭秘HBase GC的前世今生
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PaaS服务.在线教育.远程医疗.娱乐秀场 ...
网易视频云分享：流媒体技术介绍（上篇）
网易视频云分享:流媒体技术介绍(上篇) 网易视频云2016-04-14 11:49:49 创业媒体技术阅读(949)评论(0) 声明:本文由入驻搜狐公众平台的作者撰写,除搜狐官方账号外,观点仅代 ...
十年•杭研大咖说 | 邱似峰：从应届生到网易视频云CTO的蜕变
2016年,网易杭州研究院(以下简称"杭研")成立十周年之际,网易云推出"十年·杭研大咖说"系列访谈文章,针对亲历杭研核心技术体系变迁的数位技术大牛发问,揭秘网 ...
网易视频云：构建一站式视频云点播平台的关键技术
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PaaS服务.在线教育.远程医疗.娱乐秀场 ...
十年杭研大咖说 | 邱似峰：从应届生到网易视频云CTO的蜕变
2016年,网易杭州研究院(以下简称"杭研")成立十周年之际,网易云推出"十年·杭研大咖说"系列访谈文章,针对亲历杭研核心技术体系变迁的数位技术大牛发问,揭秘网 ...
网易视频云邱似峰：视频直播的风口，视频云服务能带来哪些价值？
摘要: 在短期内涌现大量音视频APP,除了行业自身特点,云计算在背后的推波助澜作用不容小视. 第17期钛坦白的主题是"三天三夜,纵论'云计算创业'",邀请到的钛客有:CloudIn ...
网易视频云专注于技术服务——异步通知系统
随着互联网技术的发展,云计算在资源层面竞争已经进入白热化的阶段,网易视频云定位于PAAS层面,从各个技术领域进行技术钻研以提供给用户更高效.更稳定.更便捷的视频直播技术服务:notify系统作为网易视 ...

揭秘网易视频云在数据传输方面的优化实战

揭秘网易视频云在数据传输方面的优化实战相关推荐

最新文章

热门文章