高糊视频秒变4K！Facebook发布低分辨率视频实时渲染算法，网友：是好东西，但是玩不起

2024-03-26 13:57:45

还记得那个引来巨大争议，最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗？

PULSE是针对低分辨率图像进行还原的，而就在PULSE问世不久后，一个针对模糊视频进行实时高分辨率渲染的算法问世了。

前几天，Facebook公布了一项在即将举行的SIGGRAPH 2020会议上展示的新论文，提出了一种新的神经网络算法神经超采样。

新算法实现了低分辨率视频的4*4的实时渲染，也就是说能把大部分视频分辨率提升16倍，直接变成4K视频！

而1080p的视频渲染延迟更是控制到24.4ms！

除了超低延迟，这种算法的巨大进步在于摆脱了特定硬件和技术的束缚（如虚幻引擎的TAAU和英伟达的DSSL），在PC上就可以实现。

高糊骑兵视频马上变4K！

话不多说，直接上实时渲染效果实测。

下图由上至下，分别是低分辨率输入视频、神经超采样算法（分辨率提高16倍）渲染结果、离线渲染目标视频截图。

可以看出，“神经超采样”算法的实时渲染输出，视频细节的精度已经高度接近目标渲染视频。

这样的优秀表现引来网友一片惊叹，尽管Facebook方面认为这项技术未来主要用于游戏开发和实时VR技术，但网友们纷纷喊话FB，希望看到这项技术用在早年的3D游戏重置上，比如三角洲部队、放逐等等。

尽管有些游戏已经有了重制版，但这个算法可以实现自动渲染，极大提升效率。

那么，这种高性能的实时渲染算法到底怎么实现的呢？

秒变4K是如何实现的

神经超采样实时渲染（Neural-Supersampling for realtime rendering）算法构造主要有4个不同功能模块。

首先是特征提取模块，包含3层卷积神经网络。这个子网络单独处理每个输入帧，并在除当前帧外的所有帧中共享权重。

对于每一帧，特征提取模块将颜色和深度作为输入，并生成8个通道的学习特征，然后与输入的颜色和深度进行连接，从而获得总共12个通道的特征。网络如下图表示。

其次，为了降低重建网络的复杂性，算法应用了时空重投影，通过使用渲染的运动矢量，将前一帧的像素样本和学习的特征投射到当前。

为了充分利用低层像素后向运动矢量，需要在目标（高）分辨率空间进行时空重投影。首先，将输入(低)分辨率空间的像素样本投影到高分辨率空间，采用零上采样的方式，即把每个输入像素分配到其对应的高分辨率像素上，并将其周围所有缺失的像素作为零。

每个输入像素的位置平均落在高分辨率中的

高糊视频秒变4K！Facebook发布低分辨率视频实时渲染算法，网友：是好东西，但是玩不起相关推荐

高糊视频秒变4K！Facebook发布低分辨率视频实时渲染算法，网友：是好东西，但是玩不起...
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 还记得那个引来巨大争议,最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗? PULSE是针对低分辨率图像进行还原的,而就在PUL ...
高糊视频秒变4K，速度快了9倍！东南大学提出新的视频超分辨率系统
转载自:量子位把高糊视频变清晰,对于AI而言算不上新鲜事. 但如果是实时处理,而且速度比主流方法还快了9倍呢? 而且计算量降低了,重建图像的质量却还非常能打: 这种图像质量和速度性能之间的平衡到底是 ...
高糊视频秒变4K，速度比TecoGAN快了9倍！东南大学提出新的视频超分辨率系统
博雯发自凹非寺量子位报道 | 公众号 QbitAI 把高糊视频变清晰,对于AI而言算不上新鲜事. 但如果是实时处理,而且速度比主流方法还快了9倍呢? 而且计算量降低了,重建图像的质量却还非常能 ...
高糊马赛克秒变高清，表情帝：这还是我吗？
全世界有3.14 % 的人已经关注了爆炸吧知识来源:机器之心参与:魔王.杜伟有了这个工具,我们终于能够看到马赛克下的那张脸了. 给出一张高糊人脸照片,你能用它做什么? 杜克大学近期的一项研究可 ...
百年古董电影秒变4K高清、60FPS，AI插值，还能着色
点击我爱计算机视觉标星,更快获取CVML新技术十三发自凹非寺量子位报道 | 公众号 QbitAI 古董级电影秒变4K高清,还能黑白变彩色. 由于技术原因,最早的影像资料都是较为模糊且卡顿的, ...
渣画质视频秒变清晰，“达芬奇”工具集帮你自动搞定
编者按:是否时常"考古"一些老电影.老动漫来回忆旧日时光?你是否也有一些珍贵的录像,带你重温过去的美好?然而,我们已经习惯了高清体验,回头再看曾经的旧影像,画质或许"渣& ...
突破网络和屏幕的限制，超分算法让图片和视频秒变清晰
如上图,从100x133pix→400x532pix,除了肉眼可见的清晰,拥有可以将分辨率提升400%的技术到底意味着什么? 它意味着: 老照片.老电影.动漫等画质可快速提升,分辨率自由调节产业算法 ...
新手剪辑师秒变大神高级感视频剪辑的几种常用技巧
高级感视频剪辑,就像一个多情的"渣男".你对他倾尽全力,他却对你若即若离.你讨厌他,却离不开他,那忽冷忽热的态度真叫人抓狂.请收起您的卑微,换一种逻辑和剪辑工具.掌握正确的思路,其 ...
微信视频号怎么开通与发布；视频号运营常见的几大问题丨国仁网络资讯。
很多小伙伴已经陆陆续续收到"你已获得视频号直播内测资格"的信息,说明视频号的布局还在加速,离全面视频号直播带货应该不远了,所以已经获得内测资格的小伙伴,更应该抓住这样的机遇,毕竟早 ...

最新文章

热门文章