基于学习的编码（六）：DRNLF
基于学习的编码（六）：DRNLF
本文算法来自JVET-L0242，dense residual convolutional network based in-loop filter (DRNLF)用于VTM的环路滤波中，用在DBF之后，SAO和ALF之前，如下图所示。
由RDO决定是否使用DRNLF。
网络结构
DRNLF的结构如下图：
N代表DRU（dense residual unit）数量，M代表卷积核数量。
本文算法是JVET-K0391的改进，K0391中DRU的结构如下图所示：
主要有5个方面改进：
删除了外部（global identity skip connection）3x3卷积层，加快了训练。
归一化的QP map和重建图像一起输入DRN，仅用一个模型就可以适应不同QP情况。
在YUV空间训练。
为了减少计算复杂度，DRU数量从8减少到4，卷积核从64减为32。
3x3的卷积层替换为3x3的DSC（depth-wise separable convolutional）层。
以上5个改进使模型参数由810k减少为22k。
训练
使用DIV2K生成训练集和验证集，训练集包含800幅图像，验证集包含100幅。网络在YUV空间训练，所以需要将DIV2K的图像由RGB空间转换到YUV空间。使用VTM2.0.1在AI(All Intra)配置下使用不同QP压缩图像。压缩后的图像和对应的QP作为网络输入。压缩前的图像作为ground truth。假设压缩图像集为{X}，对应的ground truth集为{Y}，则损失函数如下：
实验
在VTM2.0.1内，AI配置，QP取{22,27,32,37}，仅使用CPU环境的实验结果如下：
感兴趣的请关注微信公众号Video Coding
基于学习的编码（六）：DRNLF相关推荐
- Java学习系列(十六)Java面向对象之基于TCP协议的网络通信
TCP/IP的网络分层模型:应用层(HTTP/FTP/SMTP/POPS...),传输层(TCP协议),网络层(IP协议,负责为网络上节点分配唯一标识),物理层+数据链路层). IP地址用于标识网络中 ...
- VCIP2020：相同主观质量下基于学习的UGC短视频低码率编码
本文来自VCIP2020文章<Learning to encode user-generated short videos with lower bitrate and the same per ...
- 计算机科学游戏化,智慧教育学院（计算机科学与技术学院）“智慧讲堂”学术讲座系列第六十九讲 ——尚俊杰研究员《基于学习科学视角的游戏化学习研究》...
2020年5月8日晚上7点,北京大学尚俊杰博士为智慧教育学院师生做了一场题为<基于学习科学视角的游戏化学习研究>的学术报告.此次报告在腾讯会议举行,由我院杨现民院长主持,我院胡永斌副教授. ...
- 《Go语言圣经》学习笔记 第六章 方法
<Go语言圣经>学习笔记 第六章 方法 目录 方法声明 基于指针对象的方法 通过嵌入结构体来扩展类型 方法值和方法表达式 示例:Bit数组 封装 注:学习<Go语言圣经>笔记, ...
- 深度学习入门（六十四）循环神经网络——编码器-解码器架构
深度学习入门(六十四)循环神经网络--编码器-解码器架构 前言 循环神经网络--编码器-解码器架构 课件 重新考察CNN 重新考察RNN 编码器-解码器架构 总结 教材 1 编码器 2 解码器 3 合 ...
- ZippyPoint: 一种基于学习的特征点提取+二进制描述子，速度提升5倍+，为移动平台提供一种ORB的替代方案...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨Realcat 来源丨 计算机视觉SLAM 作者来自ETHZ Computer Vision实验 ...
- Occupancy Networks：基于学习函数空间的三维重建表示方法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 概述 随着深度神经网络的到来,基于学习的三维重建方法逐渐变得流行.但是和图像不同的是,在3D中没有规范 ...
- 卡内基梅隆大学提出基于学习的动作捕捉模型，用自监督学习实现人类3D动作追踪
原文来源:Cornell University Library 作者:Hsiao-Yu Fish Tung.Hsiao-Wei Tung.Ersin Yumer. Katerina Fragkiada ...
- OpenCV学习笔记（六）（七）（八）（九）（十）
OpenCV学习笔记(六)--对XML和YAML文件实现I/O操作 1. XML.YAML文件的打开和关闭 XML\YAML文件在OpenCV中的数据结构为FileStorage,打开操作例如: [c ...
最新文章
- burp suite java_Burpsuite插件自动二手开发
- 使用Truffle时遇到的问题和解决方法
- 3.5 Bounding Box 预测-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
- 常见设计模式的思考1
- oracle开启未活动连接清理,Oracle inactive session的清理
- poi mysql 导出 excel乱码,本地tomcat正常，但liunx poi excel下载却内容乱码问题的解决方法-学派吧...
- PHP长方体体积,长方体体积公式
- 《逻辑学概论》mooc
- Markdown离线编辑器
- python tcl tk_如何解决Mac版关于python3.5.X的Tcl/Tk (8.5.9) 的警告？
- 华为机试2021答案
- 【Java虚拟机】第一章、Java虚拟机是如何产生的
- 经济基础知识（初级）【6】
- Clipboard HTML FORMAT 粘贴板中文乱码问题。
- 数据分析可视化15 PyEcharts Flask 集成案例
- 设计一个智能传感器只需要4步
- 超级兔子人三人按键_超级兔子人攻略大全 新手入门少走弯路[视频][多图]
- 连续信号（七）| 周期信号的傅里叶变换
- 给那些怀旧的游戏骨灰粉丝们：自制一台树莓派街机
- python有趣小项目源码分析_推荐 10 个有趣的 Python 项目