【深度学习】2021 最新视频防抖论文+开源代码汇总
大家好,今天给大家分享,今年三篇关于视频防抖的文章,这三篇文章分布采用了不同的方法来解决视频抖动的问题。
1、基于深度的三维视频稳定学习方法Deep3D稳定器
2、融合运动传感器数据和光流,实现在线视频稳定
3、融合视频中多个相邻帧的信息,来呈现无需裁剪的完整稳定视频
3D Video Stabilization with Depth Estimation by CNN-based Optimization (CVPR 2021)
论文:https://drive.google.com/file/d/1vTalKtMz2VEowUg0Cb7nW3pzQhUWDCLA/view?usp=sharing
项目:https://yaochih.github.io/deep3d-stabilizer.io/
视频效果
摘要:
基于CNN优化的深度估计三维视频稳定我们提出了一种新的基于深度的三维视频稳定学习方法Deep3D稳定器。我们的方法不需要预训练数据,而是直接通过三维重建来稳定输入视频。校正阶段结合三维场景深度和摄像机运动,平滑摄像机轨迹,合成稳定的视频。与大多数基于学习的方法不同,我们的平滑算法允许用户有效地操纵视频的稳定性。
主要贡献包括:
我们介绍了第一种基于3D的深层CNN视频稳定方法,无需训练数据。
我们的方法可以利用3D运动模型更恰当地处理视差效应。
我们的稳定解决方案允许用户实时操纵视频的稳定性(34.5 fps)。
框架图:
推荐方法的pipeline:pipeline由两个阶段组成。首先,三维几何优化阶段通过测试时训练,分别用PoseNet和DepthNet估计输入RGB序列的三维摄像机轨迹和稠密场景深度。优化阶段以输入序列和相应的光流作为学习3D场景的引导信号。其次,视频帧校正阶段以估计的摄像机轨迹和场景深度作为输入,在平滑后的轨迹上进行视点合成。平滑过程使用户可以通过操纵平滑滤波器的参数来获得不同程度的稳定度,然后对得到的视频进行包装和裁剪,得到稳定的视频。
Deep Online Fused Video Stabilization
论文:https://arxiv.org/pdf/2102.01279.pdf
项目:https://zhmeishi.github.io/dvs/
摘要:
提出了一种利用传感器数据(陀螺仪)和图像内容(光流)通过无监督学习来稳定视频的深度神经网络(DNN)。该网络将光流与真实/虚拟摄像机姿态历史融合成关节运动表示。接下来,LSTM块推断出新的虚拟相机姿势,并使用该虚拟姿势生成一个扭曲网格,以稳定帧。提出了一种新的相对运动表示方法和多阶段的训练过程来优化模型。据我们所知,这是第一个DNN解决方案,采用传感器数据和图像稳定。我们通过烧蚀研究验证了所提出的框架,并通过定量评估和用户研究证明了所提出的方法优于现有的替代解决方案。
本文的贡献如下:
第一个基于DNN的框架,融合运动传感器数据和光流,实现在线视频稳定。
具有多阶段训练和相对运动表示的无监督学习过程。
基准数据集,包含陀螺仪和OIS传感器数据的视频,涵盖各种场景。数据集和代码都将公开发布。
框架图:
deep-FVS概述。在给定输入视频的情况下,我们首先去除了OIS转换,提取原始光流。我们还从陀螺仪获得真实的相机姿态,并将其转换为相对四元数。一个二维卷积编码器将光流嵌入到一个潜在的表示,然后将其与真实和虚拟摄像机的姿态连接起来。该关节运动表示被馈送到LSTM单元和FC层,以预测新的虚拟相机姿态为四元数。最后,基于OIS和虚拟摄像机姿态对输入帧进行扭曲,生成稳定帧
Hybrid Neural Fusion for Full-frame Video Stabilization
论文:https://arxiv.org/pdf/2102.06205.pdf
项目:https://github.com/alex04072000/FuSta
之前分享过,感兴趣的可以点击下面的链接查看
AI防抖,稳如老狗?台湾大学和谷歌提出NeRViS:无需裁剪的全帧视频稳定算法
该方法的核心思想,是融合视频中多个相邻帧的信息,来呈现无需裁剪的完整稳定视频。
具体而言,对于输入视频,首先对每一帧图像特征进行编码,并在目标时间戳处将相邻帧翘曲至虚拟相机空间。
这里面主要用到了目标帧到关键帧的翘曲场,以及从关键帧到相邻帧的估计光流两个信息,这样,就可以通过链接流向量,计算目标帧到相邻帧的翘曲场。
然后,融合这些特征。
传统的全景图像拼接算法通常是在图像级别进行融合。这样做的缺点在于,如果估计光流不可靠,就会产生伪影。
而将图像编码为CNN特征,再在特征空间中进行融合的方法更具鲁棒性,但又往往会产生过于模糊的图像(如下图b)。
于是,研究人员提出结合两种策略的优点:首先将图像编码为CNN特征,然后从多个帧中融合翘曲特征。
对于每个源帧,研究人员将融合特征图和各个翘曲特征一起,解码成输出帧和相关的置信度图。
最后,通过使用生成图像的加权平均,来产生最终的输出帧。
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑温州大学《机器学习课程》视频
本站qq群851320808,加入微信群请扫码:
【深度学习】2021 最新视频防抖论文+开源代码汇总相关推荐
- CVPR2021 行人重识别/Person Re-identification 论文+开源代码汇总
点击上方"AI算法与图像处理",选择加"星标"或"置顶"重磅干货,第一时间送达 行人重识别(Person re-identification ...
- 丝滑!CVPR 2021 视频插帧论文+开源代码汇总
点击上方"AI算法与图像处理",选择加"星标"或"置顶"重磅干货,第一时间送达 从事算法岗经常需要查看最新的研究成果,希望从中能借鉴一些别人 ...
- 最新汇总:一些基于深度学习的视觉里程计/SLAM开源代码
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:黄浴博士知乎,已获授权,https://zhuanlan.zhi ...
- 一些基于深度学习的视觉里程计/SLAM开源代码
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者:黄浴 https://zhuanlan.zhihu.com/p/139150194 本文转载自知 ...
- CVPR2020最新15篇论文开源代码!!!
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 全球计算机视觉顶级会议CVPR2020 (IEEE Conference on C ...
- 【深度学习】15个目标检测开源数据集汇总
编辑丨极市平台 目标检测应当在这几年当中研究数量以及应用范围最广的一个领域,也持续的受到很多深度学习者们的关注.本文收集和整理了15个目标检测相关的开源数据集,希望能给大家的学习带来帮助. 汇总数据集 ...
- CVPR2020最新15篇论文开源代码
全球计算机视觉顶级会议CVPR2020 (IEEE Conference on Computer Vision and Pattern Recognition,即IEEE国际计算机视觉与模式识别会议) ...
- 深度学习目标检测算法综述(论文和代码)
RCNN-→SPP Net-→ Fast RCNN-→ Faster RCNN-→ YOLO-→ SSD 思路是:a,生成候选框 b,CNN提取特征 c,分类网络 d,回归,位置精修(refine) ...
- [论文总结] 深度学习在农业领域应用论文笔记5
深度学习在农业领域应用论文笔记5 1. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate appl ...
最新文章
- CodeForces - 1330E Drazil Likes Heap(贪心)
- 深入理解弹性盒布局(fiex-box)——Web前端系列自学笔记
- 浅拷贝+引用计数--写时拷贝---模拟实现string容器
- JS代码实例:实现随机加载不同的CSS样式
- debug没反应 eclipse_解决eclipse无法运行或调试的办法
- mysql 5.7 enum_MYSQL中 ENUM 类型的详细解释
- 分享一个不错的Windows软件——Fliqlo
- android textview字体贴底部,在android中底部设置textview
- Eclipse用法和技巧五:生成说明文档2
- rust油桶用什么打_火龙果用什么膨大剂好?果子增大用什么肥料?什么时候打膨大素?...
- Hadoop教程(一)
- 【云片网】发送短信验证代码事例
- 基于jQuery的图片懒加载插件
- 5年软件渗透测试工程师的从业经验分享,值得借鉴
- Excel计算BOM物料数量的公式
- 【介绍+代码实现】使用GradualWarmupScheduler进行学习率预热
- 你想了解的前端知识都在这里了
- Spark - BloomFilter 推导与工业界应用
- ubuntu kylin 分辨率不对
- 小程序之日历(状态版)
热门文章
- Framelayout
- cmd编译运行Java文件详解
- 更改IE浏览器默认的源文件编辑器
- leetcode 861. 翻转矩阵后的得分
- 【学习小记】一般图最大匹配——带花树算法
- Async await 异步编程说明
- 【Step1】【SPFA】poj2457-Part Acquisition
- UVA - 12166 Equilibrium Mobile
- Java ArrayList和Vector、LinkedList与ArrayList、数组(Array)和列表集合(ArrayList)的区别...
- JAVA之关于This的用法