CVPR 2020｜超越H.265，中科大使用多帧数据改进视频压缩新方法

随着深度学习的兴起，可学习的视频压缩（ learned video compression）方法也越来越引起研究学者的重视。

CVPR 2020 的论文 M-LVC: Multiple Frames Prediction for Learned Video Compression ，来自中国科技大学的学者提出一种参考多帧的预测方法，改进了低延迟场景的端到端 learned video compression方法。

方法

文章指出，之前的方法多只用前一帧作为参考，该文指出使用前面多帧作为参考，其可以实现：

更加精确预测当前帧，使得残差数据量更小；
有助于生成motion vector （MV）预测，降低MV域的编码代价；

作者使用两个自动编码机（auto-encoder）分别压缩残差和MV，为补偿压缩错误，结合多帧数据引入残差和MV的提精网络。

该算法是在DVC基础上发明的，下图展示了该文的压缩模式，蓝色高亮部分为该文提出的新模块。

在三个数据集上与H.264 , H.265 , DVC 方法的压缩结果比较，可见在PSNR和MS-SSIM上均实现明显的效果提升。

编解码速度

作者使用Titan Xp GPU测试了模型的推断速度，在352x256分辨率视频上，编码帧率2.7fps，解码帧率5.9fps。

还需要更多的优化，才能达到实时编解码。

结果

实验结果显示，在低延迟模式下该文方法打败了之前的可学习的压缩方法，另外在与工业标准H.265比较中，PSNR和MS-SSIM也取得了更好的结果。

作者称代码和模型均将开源。

传送门

论文地址：

https://arxiv.org/pdf/2004.10290.pdf

开源地址：

https://github.com/JianpingLin/M-LVC_CVPR2020

（目前还未开源）

END

备注：视频压缩

视频编解码交流群

视频压缩、图像压缩等技术，

若已为CV君其他账号好友请直接私信。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看，让更多人看到

CVPR 2020｜超越H.265，中科大使用多帧数据改进视频压缩新方法相关推荐

CVPR 2021 | 中科大联合快手，提出人脸伪造检测新方法
视学算法发布机器之心编辑部来自中科大.快手的研究者针对人脸伪造,提出了基于单中心损失监督的频率感知鉴别特征学习框架,将度量学习和自适应频率特征学习应用于人脸伪造检测,实现SOTA性能. 一:背景和 ...
H.265/HEVC学习笔记：帧内预测编码
帧内预测编码是指利用视频空间域的相关性,使用当前图像已编码的像素预测当前像素,然后将预测残差(当前像素真实值与预测值之间的差值)作为后续编码模块的输入,进行下一步编码处理.在解码端解码时使用同样的方式 ...
如何利用python将excel表格中筛选出来的每一份数据各自另存为新的excel文件？
如何利用python将excel表格中筛选出来的每一份数据各自另存为新的excel文件? 1.问题描述 2.解决过程 2.1 问题分析: 2.2 解决思路 3.运行结果 1.问题描述最近在处理一堆工 ...
IBM推出127量子比特处理器，超越谷歌和中科大
丰色发自凹非寺量子位报道 | 公众号 QbitAI 127量子比特! 规模超越谷歌"悬铃木"和我国"祖冲之号"-- 全球量子比特数最多.首次突破&quo ...
CVPR 2020 oral：亮风台提出完全可训练的图匹配方法
本文为亮风台公司投稿. 6月14日-19日,CVPR 2020在线上举行,据了解,本届大会共收到6656篇投稿,接收论文1470篇,录用率约22%,低于ICCV 2019论文录用率(25%),为十年以 ...
一日2篇Nature！中科大校友段镶锋团队纳米材料新成果，曾是贝尔比奖章第三位华人得主...
杨净发自凹非寺量子位 | 公众号 QbitAI 中科大少年班校友,一日连发两篇Nature. 段镶锋,世界顶尖级纳米科学家,15岁进入中科大少年班,现为UCLA教授,曾获贝尔比奖章(史上第三位华 ...
H.264裸流文件中获取每一帧数据
测试解码器性能时,最常用的无非是向解码器中推送码流. 之前封装了一个avc的解码器,想做一个测试,读取H.264裸流文件将码流定期定时推送到解码器. 测试其实很简单: 1.了解H.264裸流文件的构成 ...
Qt从视频中获取每一帧数据
参考了以下文章:https://blog.csdn.net/jxbinwd/article/details/81034339 我按照上面文章的描述写程序,解析出来的图像保存成图片.保存的图片有很多乱码 ...
DeOccNet：国防科大提出阵列相机去除前景遮挡成像新方法
点击我爱计算机视觉标星,更快获取CVML新技术阵列相机可以从不同的视角记录当前场景,并对场景的结构进行解析,因而在战场侦察.公安监视等领域具有巨大的应用潜力. 近日,国防科技大学研究团队提出阵列相机 ...

CVPR 2020｜超越H.265，中科大使用多帧数据改进视频压缩新方法

CVPR 2020｜超越H.265，中科大使用多帧数据改进视频压缩新方法相关推荐

最新文章

热门文章