插帧补帧DAIN算法，让电影、视频、动漫变丝滑顺畅
插帧补帧DAIN算法，让电影、视频、动漫变丝滑顺畅
连手机都开始用上120帧的显示屏，但是网上大部分的视频居然还是30帧。
视频的帧率已经远远赶不上人民群众的需求了，所以有不少人都在研究如何把普通视频变成高帧率视频。
去年，英伟达开源了Super SloMo，从普通的视频“脑补”出高帧率的画面，从30fps插帧到240fps，即使放慢8倍也不会感到卡顿。
B站针对所有UP主已经首家开放120帧视频特效，而能够拍摄120fps的主流硬件都很昂贵，有没有一种技术手段可以解决这个问题？
最近，来自上海交大的一个新的插帧算法DAIN开源。它比英伟达的算法效果更清晰、帧率更高，可以把30fps的进一步插帧到480fps，这已经超过了很多手机的慢动作录像帧率。
更重要的是，英伟达的Super SloMo只用在了真实拍摄的视频上，而这项研究却可以扩展到常见的任何类型视频：电影、定格动画、动漫卡通等等。
连埼玉老师的披风都变得丝滑流畅了
如果你觉得上面效果还不够明显，可以再看一张。
羽毛的摆动是不是变得更流畅自然了？
可以想象，如果未来把DAIN用于动漫的制作，只要用低帧的动画就可以生成丝滑的效果，或许能大大减少插画师的工作。
平台的用户安装起来也不复杂。
首先确保你的PyTorch版本不低于1.0.0，将项目克隆到本地：
gitclonehttps://github.com/baowenbo/DAIN.git
即使没有任何AI基础的用户也可以使用以下平台来使用这个工具：http://distinctai.net/fps
作者已经提供了预训练模型，我们不必再花费大量精力去训练。
深度加光流，图像更清晰
之前已经有很多给视频插帧的算法，DAIN和它们有什么不同呢？
DAIN的全称是Depth-Aware Video Frame Interpolation，即深度感知视频帧插值。
视频帧插值的目的是在原始帧之间合成不存在的帧。但是由于大的物体运动或遮挡，插帧的质量通常会比较低。
在这篇研究中，研究人员提出了一种通过探索深度信息来检测遮挡的方法。
具体来说，作者开发了一个深度感知光流投影层来合成中间流，中间流对较远的对象进行采样。此外，学习分层功能以从相邻像素收集上下文信息。
上图是DAIN的体系架构：给定两个时刻的输入帧，先估计光流和深度图，然后使用建议的深度感知流投影层生成中间流。
然后，模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲，合成输出帧。
这种模型紧凑、高效且完全可微分。定量和定性的结果表明，DAIN在各种数据集上均优于最新的帧插值方法。
插帧补帧DAIN算法，让电影、视频、动漫变丝滑顺畅相关推荐
- 【STM32H7的DSP教程】第50章 STM32H7的样条插补实现，波形拟合丝滑顺畅
完整版教程下载地址:http://www.armbbs.cn/forum.php?mod=viewthread&tid=94547 第50章 STM32H7的样条插补实现,波形拟合 ...
- 让电影动漫统统变丝滑，480帧也毫无卡顿，交大博士生开源插帧软件DAIN
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 连手机都开始用上120帧的显示屏,但是网上大部分的视频居然还是30帧. 视频的帧率已经远远赶不上人民群众的需求了,所以有不少人都在研究如何 ...
- 可以检测手机帧率和温度的软件_让电影动漫统统变丝滑，480帧毫无卡顿，交大博士生开源插帧软件
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 连手机都开始用上120帧的显示屏,但是网上大部分的视频居然还是30帧. 视频的帧率已经远远赶不上人民群众的需求了,所以有不少人都在研究如何把 ...
- PR高清60帧补帧教学附插件下载，目前最流畅的补帧教学
先说明一下,这个步骤是适合有点PR基础的人去观看的,小白的话可能看起来会有点懵逼 来了来了,直接输入干货 第一步:创建序列,不要直接拖入素材,序列要在设置-->编辑模式-->选为自定义-- ...
- 图像算法可以稳定处理视频了！港科大开源通用算法，解决视频处理时域不稳定问题｜NeurIPS 2020...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨雷晨阳.邢亚洲 编辑丨极市平台 导读 许多图像处理算法虽在单个图像处理中表现出色,但将其直接用于 ...
- 视频插帧—学习笔记（算法+配置+云服务+Google-Colab）
恰好碰到同学项目需要,了解了一下关于利用深度学习视频插帧的相关知识,在这里做一个简单的记录. 目录 一.方法+论文 1.DAIN (Depth-Aware Video Frame Interpolat ...
- 借助深度卷积神经网络对图片 GIF 视频进行超分辨率放大(即放大与降噪) 以及 对视频进行 插帧(即补帧).
借助深度卷积神经网络对图片 & GIF & 视频进行超分辨率放大(即放大与降噪) 以及 对视频进行 插帧(即补帧). 软件下载地址:下载地址 界面效果: 处理效果: 图像清晰化 图像放 ...
- 基于PaddleGAN项目人脸表情动作迁移学习（五）图像补帧上色与超分修复
学习目标 体验基于PaddleGAN的图像上色.补针.超分等功能,涉及模型包括DAIN.DeOldify.RealSR.DeepRemaster.EDVR.PPMSVSR等. 一.算法原理 1.补帧模 ...
- 视频图片 超分与动漫化+补帧
转自AI Studio,原文链接:视频&图片 超分与动漫化+补帧 - 飞桨AI Studio 1.安装依赖 由于视频不便展示,均放到项目根目录下,以便于查看 需要自行建立piece目录和pie ...
- 【PotPlayer 补帧】
众所周知,咱们网上下载电影文件一般帧率都是23,这么多年看片也习惯了,但是!用过这个插件过后你会发现新世界.它能把低帧率视频文件补帧至60甚至更高.可能这个插件很多朋友也用过,这里我再给不知道的朋友 ...
最新文章
- Angular Lazy load(延迟加载，惰性加载) 机制和 feature module 的学习笔记
- c语言大作业旋转,c语言大作业全-20210412035629.docx-原创力文档
- Mac/Linux/Centos终端中上传文件到Linux云服务器
- commvault备份mysql,备份MySQL数据库的4种方式
- PostgreSQL的postmaser的fork的学习体会
- WZ132源代码舍小家为大家
- Decoder is not a @Sharable handler, so can't be added or removed multiple times
- 原生语言开发web版万岳网校源码 v2.2.0
- SpringBoot—JPA和JDBC常用配置说明
- 读取XML文件报 - Content is not allowed in prolog
- ELK学习笔记之Elasticsearch启动常见错误
- git tracked branch
- 87-非阻塞 connect
- Unity摄像机平滑处理跟随
- 【EXLIBRIS】最近读什么书呐？
- Logisim海明编码解码实验
- 哈尔滨理工大学软件与微电子学院第八届程序设计竞赛同步赛（低年级）I 小乐乐切方块
- java计算机毕业设计基于微信小程序的校园外卖订餐系统APP
- android10加载图片问题解决思路全程记录 FileNotFoundException: /content:/media/external/images
- 爱普生Epson Stylus Photo P50 打印机驱动