网易超分黑科技来了！全新移动端视频体验时代来临

如今，互联网上的社交行为已不局限于QQ和微信。泛娱乐与社交领域相融合所形成的泛娱乐社交正在帮助企业打开全新的文娱布局。泛娱乐应用社交与互动性强成为共同特征，而具备这些特性的产品往往都集中在直播、短视频、图片分享社区等社交化娱乐产品。

在这些产品背后的黑科技也持续成为关注重点，网易云信在网易MCtalk 泛娱乐创新峰会上重点介绍了超越像素的AI视频黑科技“超分”。超分辨率(Super-Resolution)通过硬件或软件方法提高原有图像的分辨率，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建，网易云信通过人工智能深度学习将低分辨率视频重建成高分辨率视频模糊图像、视频瞬间变高清，为移动端为用户带来极致视频体验。

什么是超分辨率

广义的超分辨率 (超分辨率算法, Super Resolution) 是指一类用于提升图像分辨率的技术。这类技术已经存在了很长一段时间，应用也非常广泛。随着图像处理理论的发展，以及机器学习的普及和更高性能的处理器的出现，各类更优秀的超分辨率算法陆续出现。现在提及超分辨率算法时，往往是特指依靠机器学习来实现的图像放大算法。文中提到超分辨率算法时也均特指这类算法。它能够提供远超于传统图像放大算法的图像质量。

图1. 将原始图像缩小3倍后分别使用Bicubic (一种传统图像放大算法) 和超分辨率算法CNN (一种基于CNN的图像放大算法) 进行放大[1]。

超分辨率理论描述

超分辨率算法算法本质上和传统图像放大算法大体类似，都是利用已有的图像信息去预测需要的像素点。只不过传统算法的预测模型非常简单，可以通过人工设计的方式实现。例如双线性插值，就是利用目标像素周围的四个点来做预测，离目标位置越近的点权重越大，通过一个简单的公式就能得到结果: f(x,y)=f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy

图2. 双线性插值，通过Q11~Q22这四个点预测点P

而现代超分辨率算法为了得到更精确的预测结果，其预测模型则复杂了很多。一般有多个卷积层和激活层，会利用到目标像素周围很大一片区域的图像信息，包含成千上万个模型参数，纯靠人工设计是不现实的。所以人们才会依靠机器学习的方式来决定参数。这种做法还附带有不少好处。例如无需对图像处理有深厚的理解就可以训练模型，也可以根据自己的应用场景调整训练集，从而得到更合适的预测模型。

下图是一个简单的例子，来自经典的超分算法超分辨率算法CNN[1]。模型基于卷积神经网络，以原始图像为输入，先是用廉价的上采样算法将分辨率提升到期望的大小, 然后经过3层分别为9x9x128，3x3x64，5x5的卷积运算，得到超分输出。

图3. 超分辨率算法CNN网络结构

近年来每届超分竞赛都会出现不少值得借鉴的新理论和新实现，超分辨率算法的效果上限被不断提高。

什么时候用超分辨率

虽然视觉效果很好，但超分辨率算法在使用上有几方面限制需要注意。其中最重要的是硬性指标性能。即便是极为简单的超分辨率算法，其运算量也是传统放大算法的上千倍，能否满足应用的性能需求需要经过测试和优化。

另外，目前的超分辨率算法算法主要分两个流派，一派的目标是尽可能地还原信息，另一派则允许在不影响视觉体验的前提下对内容进行一些修改。需要根据应用场景来选择不同的算法。

图4. 上图左侧为超分辨率算法GAN模型[2]放大4倍生成的图片，可以看到首饰的纹理被大幅修改。

超分辨率的优势

基于深度学习的超分技术能较好的恢复图像细节。在视频发送源可能因为种种客观限制，无法提供高分辨率的视频，比如摄像头采集能力不足，网络带宽不足，源端处理能力不足等。在这些情形下，如果云端或者接收端的处理能力满足要求，可以借助超分技术，对于视频质量做恢复，呈现给用户高质量的视频。所以超分技术为在恶劣的客观条件下的视频应用提供了高质量呈现，是传统的应用借助人工智能技术提升使用体验的典型落地场景。

网易云信在超分辨率的实践

网易云信提供了点播直播和实时音视频等技术能力。支持的终端包括Windows PC, MAC, iPhone, iPad, Android手机，机顶盒，智能手表等可穿戴设备。其中可穿戴设备，机顶盒等终端的成本控制比较严格，通常CPU处理能力相对较弱，无法支持高清，甚至标清的视频规格，但是作为这些终端的使用者，他们依然希望看到高清或标清的视频质量，接收的终端可能是PC或者性能较好的手机, 平板电脑等设备，它们自己可能有能力提供优秀的计算资源。在这种场景下, 网易云信可以在接收的终端上通过超分辨率技术，恢复视频质量，极大地提升了移动端用户的体验。如果接收的终端本身运算能力不足以支撑深度学习，但是有能力处理高清视频的解码，网易云信依然可以在云端对低分辨率的视频进行处理，采用包括超分在内的技术，对质量恢复后，将高质量的视频提供到接收终端。

尤其针对弱网情况，云信将在云端或者接收终端通过超分技术对质量进行补偿，为用户呈现超高质量视频。云信通过人工智能深度学习将低分辨率视频重建成高分辨率视频模糊图像、视频瞬间变高清，为移动端为用户带来极致视频体验。

[1] C. Dong, C. C. Loy, K. He, and X. Tang. Learning a deep convolutional network for image super-resolution. In European Conference on Computer Vision (ECCV), pages 184–199. Springer,

2014.

[2] Ledig C, Theis L,Huszar F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J]. 2016:105-114.

想要技术干货、行业洞察，欢迎关注网易云信博客。

了解网易云信，来自网易核心架构的通信与视频云服务。

网易云信（NeteaseYunXin）是集网易18年IM以及音视频技术打造的PaaS服务产品，来自网易核心技术架构的通信与视频云服务，稳定易用且功能全面，致力于提供全球领先的技术能力和场景化解决方案。开发者通过集成客户端SDK和云端OPEN API，即可快速实现包含IM、音视频通话、直播、点播、互动白板、短信等功能。

网易超分黑科技来了！全新移动端视频体验时代来临相关推荐

揭开“视频超分”黑科技的神秘面纱
在看电影时,有一幕大家应该都非常熟悉,警察从证据图片中选取一块区域放大,再放大,直到一个很小的目标变得清晰可见,从而发现重要的线索.现实中是不是真的有这样的技术,可以把模糊的小图变得清晰?答案是,一定 ...
【美团技术沙龙】前端遇上黑科技，打造全新界面体验与效率
美团技术沙龙由美团技术团队主办,每期沙龙邀请美团及其他互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域. / 出品人 / 冯湧,美团研发总监现就职于美团金服担任美团支付.保险平台业务研 ...
日语+AI语音黑科技，早道开启小语种AI智能时代！
原标题:日语+AI语音黑科技,早道开启小语种AI智能时代! 如果说互联网 +教育是打破了传统线下教育的时空局限,让每个人有平等享受教育资源的可能.那么AI+教育则是将教育由"千人一面&q ...
PPT | “京享超清”技术在复杂网络下应用与视频体验保障
"京享超清"技术在复杂网络下应用与视频体验保障 PPT
向日葵android平板,向日葵远程控制 - 黑科技改变生活，让端游一秒变手游 - Android 应用 - iPad - 【最美应用】...
玩主机的看不起玩平台的,玩平台的看不起玩端游的,玩端游的看不起玩页游的,玩页游的还看不起玩手游的. 现在不要分什么彼此了,通过以下方法,想用手机玩平台游戏.玩端游.玩页游,可一次实现! 手机自定义键盘 ...
乒乓球训练机_比教练更牛的全新乒乓球机器人，超拟人黑科技，引领未来体育浪潮...
乒乓球虽然被誉为我国"国球",但一直以来在民间的普及度并不高,主要有以下四大痛点: ①上手难度大,绝大多数球友还处于初级阶段,很难体验到乒乓球旋转和高质量对抗带来的快感. ②很难找 ...
❤ CSDN精心打造一款插件，让你的浏览器：解锁黑科技、个性十足、沉浸式体验 ❤
数列科技宣布开源Takin：性能测试3.0时代来临
6月25日,国内知名的系统高可用专家数列科技宣布开源旗下核心产品能力,对外开放生产全链路压测平台产品的源代码,并正式命名为Takin. 目前中国人寿.顺丰科技.希音.中通快递.中国移动.永辉超市.爱库 ...
4K修复版《海上钢琴师》登陆全国院线，一文读懂背后的黑科技！
最近有件大事,11 月 15 日,全球瞩目的经典电影<海上钢琴师>4K 修复版登陆了全国院线.岁月侵蚀的影片经典场景,在老胶片的保存下只剩模糊的影像.而此次经 4K 技术修复的版本,据说采 ...

网易超分黑科技来了！全新移动端视频体验时代来临

网易超分黑科技来了！全新移动端视频体验时代来临相关推荐

最新文章

热门文章