论文阅读 | Video Enhancement with Task-Oriented Flow
引言：Toflow视频处理的方法，包括视频插帧、视频去噪、视频超分，发表在IJCV2019，文章提出了大规模数据集vimeo90k
Video Enhancement with Task-Oriented Flow
前言
目前的视频处理的方法，即视频插帧，视频去噪，视频超分都需要去估计中间的运动，即得到准确的中间流
但是这样的方法有缺点如下
- 光流估计很有挑战性，因为光流估计的前提假设就是光度一致性，局部亮度没有跳变，这在亮度发生跳变的场景下效果就不好，同时在有遮挡和运动模糊的情况下效果也不好
- 光流估计是个大规模的优化问题，很耗时（当时挂arxiv时是在2017年，光流发展还在早期阶段）
- 准确的光流不一定能得到准确的插帧效果
第三点作者给了实验例子和toy example的论证,这里我主要解释关于插帧的论证
toy example
比如说，这个移动的三角形，背景不动，三角形往左下方移动
如果给出第一张图到第二张图和第二张图到第三张图的准确光流的话，则应该是只有三角形区域有速度（颜色），代表该像素移动的方向
但是这样的光流 warp之后得到的两张图却是这样
第一张图往第二张图前向warp,由于背景不动，三角形移走的位置的颜色没有背景色给补上，出现了重叠
第二张图往第三张图后向warp，由于第三张图中，只有三角形区域有光流，因此后向warp后三角形新移出来的位置部分也没有被填充颜色，变成了一个小三角
将两个warp后的图合并就成了最终图，，呈现伪影
（这个模型也可以很好的解释前向warp和后向warp的区别，当然文章感觉没有阐释得很清楚，也可能是我理解得不对，欢迎批评指正）
通常可以给这种情况加一个遮挡mask ,但是加了效果也没有很好
文章中的实验拿的是EPICFLow作的比较，它估计的是准确的光流，但是仍然会出现伪影和模糊
因此，作者基于此，提出一个面向任务的光流Toflow方法，解决一些视频处理的任务
网络架构
网络包括三部分，运动估计，图像对齐，图像合成
这里的光流估计网络作者用了2017年的提出来的一个方法，多尺度运动估计架构
图像对齐作者采用的是2015年的空间transformer的网络（此transformer非彼transformer）STN，用于warp
图像合成网络采用了遮挡mask，架构如下
实验
这是最早在vimeo90k上的测试结果，可以看到值还是比较低的
总结
该文章主要贡献是提出了一个通用的架构，用来做三种不同的视频增强，其中面向任务的流的主要创新，作者分析准确光流给视频任务带来的一些问题，可以引发读者深入思考，很有启发性
论文阅读 | Video Enhancement with Task-Oriented Flow相关推荐
- 论文阅读 - Video Swin Transformer
文章目录 1 概述 2 模型介绍 2.1 整体架构 2.1.1 backbone 2.1.2 head 2.2 模块详述 2.2.1 Patch Partition 2.2.2 3D Patch Me ...
- 论文阅读《Expert Training Task Hardness Aware Meta-Learning for Few-Shot Classification》
原文链接:https://arxiv.org/abs/2007.06240 摘要 在一些深度神经网络的优化工作中发现,训练数据的顺序对于分类器的性能有一定影响,合理地安排顺序使分类器更快.更准.受此启 ...
- 论文阅读 (78)：FlowNet: Learning Optical Flow with Convolutional Networks
文章目录 1 概述 1.1 题目 1.2 摘要 1.3 代码 1.4 引用 2 网络架构 2.1 收缩部分 2.2 扩展部分 2.3 变分细化 (Variational refinement) 3 训 ...
- Low-Light Image and Video Enhancement Using Deep Learning: A Survey(论文阅读)
(2021_TPAMI)Low-Light Image and Video Enhancement Using Deep Learning: A Survey 本文是南开大学程明明与南洋理工大学C ...
- CVPR2019｜Depth-Aware Video Frame Interpolation【论文阅读笔记】
CVPR2019|Depth-Aware Video Frame Interpolation[论文阅读笔记] 作者 相关链接 1.前言 2.介绍 3.算法 4.实验 作者 Wenbo Bao, Wei ...
- 【论文阅读】Attention Based Spatial-Temporal GCN...Traffic Flow Forecasting[基于注意力的时空图卷积网络交通流预测]（1）
[论文阅读]Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[基于注 ...
- 论文阅读——《Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLAM》
论文阅读--<Online Photometric Calibration of Auto Exposure Video for Realtime Visual Odometry and SLA ...
- 论文阅读：Overview of the NLPCC 2018 Shared Task: Grammatical Error Correction
论文阅读:Overview of the NLPCC 2018 Shared Task: Grammatical Error Correction 1. 引言 2. 任务定义 3. 数据 3.1 训练 ...
- CLEval: Character-Level Evaluation for Text Detection and Recognition Task 论文阅读
CLEval: Character-Level Evaluation for Text Detection and Recognition Task 论文阅读 1.动机 2.主要思想 3.已有的相关方 ...
最新文章
- 在网络通讯中，如何自己分配可用的端口号和获取自己的ip地址
- jsPlumb之流程图项目总结及实例
- 机器学习（MACHINE LEARNING）MATLAB中微分方程的求解
- opengl游戏引擎源码_跨平台渲染引擎之路：拨云见日
- 贷款为什么要查看征信？
- viewController的生命周期
- java判断题_【Java判断题】请大神们进来看下、这些判断题你都知道多少~
- Servlet(2） ---2004
- NSMethodSignature, NSInvocation源码分析
- 《博客园精华集》web标准分册第2论筛选结果文章列表
- 用易语言开发的ffmpeg转码工具
- java时间段的查询_JAVA实现按时间段查询数据操作的方法
- hive explode(split(split_feild,‘split_char‘)) split_feild为null 整条数据会丢掉
- python打印购物小票
- 「IT女神勋章」挑战赛#
- adroid xpose 修改java方法实例_基于xposed 修改硬件信息（xposed框架使用）
- 便利蜂被指借考试裁员 创始人：体面生活靠奋斗不是靠躺地打滚
- 关于datanode进程无法启动的另一种解决方法 java.io.IOException: Incompatible clusterIDs in /export/servers/hadoop-3.1.
- FIFA 世界杯 2022 电视直播观战私家指南
- 疯狂java讲义（李刚）6.2
热门文章
- Android蓝牙播放如何显示歌曲信息？
- “门头沟”迎赔偿草案，砸盘阴影重现
- 考研——史上计算机类最全辅导书推荐
- Python | 记录最近遇到的大坑！
- macOS终端字体颜色DIY教程
- Java map去空值
- [Python] openpyxl读存大数据 Exception: String longer than 32767 characters
- vue 3.0 脚手架项目搭建(含javascpt和typescript两种)
- 网络工程师 VS 网络规划设计师 ，知识点重合度有多高？
- Naive UI使用useDialog、useMessage、useNotification、useLoadingBar，超实用