让电影动漫统统变丝滑,480帧也毫无卡顿,交大博士生开源插帧软件DAIN
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
连手机都开始用上120帧的显示屏,但是网上大部分的视频居然还是30帧。
视频的帧率已经远远赶不上人民群众的需求了,所以有不少人都在研究如何把普通视频变成高帧率视频。
去年,英伟达开源了Super SloMo,从普通的视频“脑补”出高帧率的画面,从30fps插帧到240fps,即使放慢8倍也不会感到卡顿。
最近,来自上海交大的一个新的插帧算法DAIN开源。它比英伟达的算法效果更清晰、帧率更高,可以把30fps的进一步插帧到480fps,这已经超过了很多手机的慢动作录像帧率。
更重要的是,英伟达的Super SloMo只用在了真实拍摄的视频上,而这项研究却可以扩展到常见的任何类型视频:电影、定格动画、动漫卡通等等。
△ 连埼玉老师的披风都变得丝滑流畅了
如果你觉得上面效果还不够明显,可以再看一张。
羽毛的摆动是不是变得更流畅自然了?
可以想象,如果未来把DAIN用于动漫的制作,只要用低帧的动画就可以生成丝滑的效果,或许能大大减少插画师的工作。
DAIN的代码已经开源,甚至研究人员还打包了一份Windows安装程序,即使没有任何AI基础的用户也可以直接拿来用。
安装
Windows系统的用户有现成的exe文件安装(地址见文末),不过现在仍处于Alpha阶段,软件可能存在一定的不稳定性。
其他平台的用户安装起来也不复杂。
首先确保你的PyTorch版本不低于1.0.0,将项目克隆到本地:
git clone https://github.com/baowenbo/DAIN.git
安装PyTorch的各个扩展包:
cd DAIN
cd my_package
./build.sh
还要安装英伟达预测光流网络PWCNet的软件包:
cd ../PWCNet/correlation_package_pytorch1_0
./build.sh
由于作者已经提供了预训练模型,我们不必再花费大量精力去训练。创建目录model_weights,并且将预训练模型的权重下载到相应的文件夹中:
cd model_weights
wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/best.pth
运行命令以下命令,就可以开始给视频插帧啦!
CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py —netName DAIN_slowmotion —time_step 0.25
—time_step之后的参数就是视频的放慢倍数,0.25代表视频帧率扩展为原来的4倍。如果要生成8x和10x慢动作,参数就改成0.125和0.1,依此类推。
深度加光流,图像更清晰
之前已经有很多给视频插帧的算法,DAIN和它们有什么不同呢?
DAIN的全称是Depth-Aware Video Frame Interpolation,即深度感知视频帧插值。
视频帧插值的目的是在原始帧之间合成不存在的帧。但是由于大的物体运动或遮挡,插帧的质量通常会比较低。
在这篇研究中,研究人员提出了一种通过探索深度信息来检测遮挡的方法。
具体来说,作者开发了一个深度感知光流投影层来合成中间流,中间流对较远的对象进行采样。此外,学习分层功能以从相邻像素收集上下文信息。
上图是DAIN的体系架构:给定两个时刻的输入帧,先估计光流和深度图,然后使用建议的深度感知流投影层生成中间流。
然后,模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲,合成输出帧。
这种模型紧凑、高效且完全可微分。定量和定性的结果表明,DAIN在各种数据集上均优于最新的帧插值方法。
作者
这篇文章的第一作者Bao Wenbo,是上海交通大学电子信息与电气工程学院的博士生。
他目前的研究领域集中在图像/视频处理,计算机视觉和机器学习。另外在硬件设计、嵌入式系统和并行编程方面也很有经验。
传送门
论文地址:
https://sites.google.com/view/wenbobao/dain
项目地址:
https://github.com/baowenbo/DAIN
Windows版软件下载:
https://drive.google.com/file/d/1uuDkF4j4H1AI1ot88XdqzwMdvAPhxKN8/view
— 完 —
AI内参|把握AI发展新机遇
拓展优质人脉,获取最新AI资讯&论文教程,欢迎加入AI内参社群一起学习~
跟大咖交流 | 进入AI社群
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
让电影动漫统统变丝滑,480帧也毫无卡顿,交大博士生开源插帧软件DAIN相关推荐
- 可以检测手机帧率和温度的软件_让电影动漫统统变丝滑,480帧毫无卡顿,交大博士生开源插帧软件
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 连手机都开始用上120帧的显示屏,但是网上大部分的视频居然还是30帧. 视频的帧率已经远远赶不上人民群众的需求了,所以有不少人都在研究如何把 ...
- 电脑视频html5全屏掉帧,Windows 10使用自带的电影和电视全屏看视频时掉帧(画面卡顿)...
Windows 10自带的"电影和电视"应用能应付一些常见的视频格式,还能播放360度全景视频,对部分人来说用它就够了,不需要额外安装其它播放视频的应用. 在使用电影和电视全屏播放 ...
- 【达摩院OpenVI】几行代码,尽享丝滑视频观感
团队模型.论文.博文.直播合集,点击此处浏览 随着网络电视.手机等新媒体领域的快速发展,用户对于观看视频质量的要求也越来越高.当前市面上所广为传播的视频帧率大多仍然处于20-30fps,已经无法满足用 ...
- 「目前最好的文生视频AI」来了!做广告、电影都不在话下,网友:很丝滑
金磊 发自 凹非寺 量子位 | 公众号 QbitAI 家人们,最近又一个文生视频AI火了. 话不多说,直接上效果! 若不说是AI生成的,或许很多朋友都会误以为是<小黄人>又出预告片了吧~ ...
- 商汤插帧算法让视频顺滑如丝丨NeurIPS 2019 Spotlight论文
点击我爱计算机视觉标星,更快获取CVML新技术 自相机被发明以来,人们对更高画质视频的追求就没有停止过. 分辨率从480p,720p,再到1080p,现在有了2K.4K:帧率也从25FPS到60FPS ...
- 苹果手机上滑动会卡顿_7种办法解决苹果手机卡顿 让你的手机用起来如丝般顺滑...
原标题:7种办法解决苹果手机卡顿 让你的手机用起来如丝般顺滑 很多人都有这种体验,刚买的手机用起来特别爽,不管点哪个APP都是秒开,随着时间的推移,越来越卡顿,甚至有的时候直接卡死,无奈之下只好重新开 ...
- Linux下最强安卓模拟器,流畅又丝滑(附详细安装教程)此瓜保熟|Linux游戏党
大家好!鉴于微信.QQ对于Linux的支持不好,只是因为用的人多,大家都只能忍着,我发现Skype对于Linux平台的支持很好,建了一个Linux爱好者Skype 交流群,大家可以自愿加入.Join ...
- 这样设置过渡动画,让你的Android手机变得更丝滑
前言 通过合理的设置安卓中过渡动画的缩放速度,可以让安卓手机中窗口的切换更自然.更流畅,操作上感觉更加的丝滑.安卓手机上一般有窗口动画缩放(window_animation_scale).过渡动画缩放 ...
- 高通CVPR神研究:视频处理计算量降低78%,教卷积层自己“挑像素”,卡成PPT的视频纵享丝滑...
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 图像领域,已经限制不住AI算法大牛们的身手了. 现在,随着视频产业火热发展,相关算法也正成为计算机视觉研究的新潮流. 毕竟日常生活中,无论是 ...
最新文章
- nginx+keepalived 高可用
- 北京.net俱乐部博客园小组成立了
- android按钮点击后闪退_Android开发【04-27求助贴】点击button闪退
- python有几个系列_python系列1-就业篇
- 操作系统————P1 概念、功能和目标
- 阿里云ddns解决动态IP问题
- 好儿优机器人_好儿优机器人app
- DAZ STUDIO 快速渲染技巧
- android界面设计所用中文什么字体,手机软件中的字体是什么字体,ui界面设计用什么字体...
- Nuget的使用说明
- VC6中工具条的新特色 (转)
- Tief Meer alt singen nennen Papa.Magnam natus consequuntur corporis laudantium.
- 一篇来自程序员的日记
- 学习CSS——小米商城官网(第9、10天)
- 美国数据分析科学家带你看看大数据的未来
- 解析Linux中的VFS文件系统机制
- 【设计模式】共享模式
- centos光盘修复引导_安装光盘修复centos6.6系统及gurb修复系统
- 怎样把ppt转成pdf
- MySQL 索引设计