单帧风景照变延时摄影,分分钟搞定,还能有昼夜变化,这是来自日本的开源动画景观算法...
边策 鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
潮起浪涌,拍击礁石。
你以为这是慢动作录制的自然片段?
非也。
只要一张静态风景照,几分钟之内,AI就能还原出这自然界的壮阔动态。
延时摄影,慢动作效果,一图即可复现。
画质是清晰的1080p,入门门槛却不高,仅需一个GPU和几百兆字节的预训练数据。
纪录片缺素材,后期制作太麻烦?有了这只AI就不怕了。
这项来自日本筑波大学的研究,登上计算机图形学顶会SIGGRARH Asia,预训练模型和代码均已开源(地址见文末)。
还原自然的云卷云舒
这只AI,专注于自然界云与水的律动。
△输出
△输入
天上云卷云舒,水面云的倒影也会随之移动。
不仅有空间移动,晨光暮色,亦能动态呈现。
△4倍速
像不像记录片里的片段?
不仅如此,天空云涌,水面潮起,在这场AI的魔术表演中,就像在自然界中一样两不相误。
与前辈作品相比,这样的表现完全是大师级别。
△上排为前辈作品,下排为新方法
难怪网友惊叹:这太美了!
原理
这一魔法的实现,需要以下相关的工作:光流预测、风格迁移、视频预测等。
光流是一种描述图像中各像素运动速度和方向的方法,根据物体相邻两帧的差异可以计算出图像的光流,同样也可以根据光流推测是视频下一秒可能的样子。
风格迁移通过感知损失的反向传播来优化输出图像,在保留源内容的前提下,改变图像的风格,而本文中,风格迁移的主要作用是对图像中变化部分的颜色进行更改。
去年有人提出了通过风格迁移方法实现图像的昼夜交替、四季更迭的转换。而输出视频的难度在于要实现这种变换的平滑性。
下图展示了视频合成的整个流程:给定输入图像和控制未来变化的潜在代码,运动预测器会生成将来的向后光流(backward flows)。
这些流使输入图像变形,合成添加了运动的图像,然后将它们转换为运动循环。
但是,仅仅让图片动起来还不够,由于延时摄影的特点是时间长,在这段时间里,天色还会变暗。
因此还要对整张图片的色调进行更改,不是简单的调个色,而是要让视频画面的颜色随着时间推进平滑地过渡。
这就是外观预测器负责的工作,它能够更改运动预测器生成图片的颜色,从而获得输出视频。
在一般的循环推理中,错误会在循环的输出帧中累积。而在这篇论文的运动预测中,这些光流在空间上是平滑的,因此对错误的敏感度较低。
此外,算法通过回溯到输入图像来重构每个预测帧,避免由于重复的颜色采样而导致RGB值的错误累积。
运动预测器
训练运动预测器的方法非常直接,最终目标就是让模型预测的光流场与真实光流场之间的差异最小化。
至于推理过程,首先从单个输入图像生成加入的运动帧,通过线性混合(linear blending)使其循环,然后对每个帧进行颜色转换。
在这个过程中反复使用预测帧作为下一个运动预测的输入帧,重复此过程获得多个帧。
但是自监督的环境中预测光流场是有挑战性的,因为这本质上是要找到两个具有较大自由度的连续帧之间的对应关系,这很容易陷入局部最优值中,从而产生不一致的流场。
为此,作者在预测和训练阶段都限制了输出光流场的范围,以一个常数除预测的光流场,限制它们的幅度范围。事实也证明了这种方法的有效性。
外观预测器
由于外观预测器是使用输入图像和每个训练视频中两帧之间任意帧来训练的,因此需要一个潜在代码来控制每个帧的外观。
最终,颜色迁移图通过输入图像和控制的潜在编码来共同计算完成。这种方法避免了反复直接从输入图像预测导致随时间变化的色彩。
日本团队
论文的第一作者,是日本筑波大学计算机几何与图形实验室(CGG)的副教授远藤裕纪(Yuki Endo)。
另外两位合作者,分别是同实验室的金森佳宏(Yoshihiro Kanamori)副教授,和丰桥技术科技大学的栗山繁( Kuriyama Shigeru)教授。
传送门
PyTorch代码:
https://github.com/endo-yuki-t/Animating-Landscape
项目地址:
http://www.cgg.cs.tsukuba.ac.jp/~endo/projects/AnimatingLandscape/
论文地址:
https://arxiv.org/abs/1910.07192
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
如何关注、学习、用好人工智能?
每个工作日,量子位AI内参精选全球科技和研究最新动态,汇总新技术、新产品和新应用,梳理当日最热行业趋势和政策,搜索有价值的论文、教程、研究等。
同时,AI内参群为大家提供了交流和分享的平台,更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅:
了解AI发展现状,抓住行业发展机遇
AI社群 | 与优秀的人交流
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
单帧风景照变延时摄影,分分钟搞定,还能有昼夜变化,这是来自日本的开源动画景观算法...相关推荐
- 【ps】米饭工作室教你分分钟搞定“小问题”照片
五一出游是不是拍了很多照片?如果你有ps又不懂高深的修图技术,那么多照片修起来是不是很吃力?但不是每张照片拍的都可以直接上传,有些只是有些暗,或者只是有点儿歪,画面边上有人乱入,却又很想上传分享给朋友 ...
- 计算机一级b证书图片p,只需两步,分分钟搞定证件照(内附福利)
原标题:只需两步,分分钟搞定证件照(内附福利) 简历中要不要放证件照? 当然要! 怎么样才能让证件照成为求职过程中的加分项? 不浮夸,不造作! 证件照怎么拍? 不要998,小V教你在家就能自制最美证件 ...
- endnote转化成纯文本后_如何用Endnote分分钟搞定参考文献
原标题:如何用Endnote分分钟搞定参考文献 解螺旋公众号·陪伴你科研的第1924天 Endnote教程第二弹来啦! 写论文离不了对参考文献的引用,Endnote在文献撰写中发挥着重要作用.下面我们 ...
- 永中word页码怎么从第二页开始_pdf如何在线转word?这样做,分分钟搞定pdf转word...
原标题:pdf如何在线转word?这样做,分分钟搞定pdf转word 上了初中以后,我感觉到学习压力更大了,特别是写作文.记得小学时,我的作文还被老师当堂表扬过,现在最多只能拿到合格线分数.为了提高语 ...
- C4D优质电商背景素材|分分钟搞定设计稿
优质的背景设计能很好的衬托出产品的气质.这类素材往往都是分层可编辑的格式,替换产品本身,加上文字设计,banner产品图分分钟搞定,广告设计稿也顿时高大上.这类素材要到专业提供网站,比如素材路上(ww ...
- 怎么扫描同网段mac地址linux,如何快速收集局域网内的IP+MAC信息?用这个扫描器分分钟搞定!!!...
原标题:如何快速收集局域网内的IP+MAC信息?用这个扫描器分分钟搞定!!! 网 工 圈 中国圈内 最早的公益 公众号,本号已认证(关注近 5w+) 关注 科来MAC地址扫描器安装 1.右键" ...
- 一段代码完成所有分享功能,分分钟搞定分享功能
一段代码完成所有分享功能,分分钟搞定分享功能 效果如下: 代码: <div style="width:100%; height:30px;"> <div styl ...
- 有了这个开源项目,让你分分钟搞定第三方授权登录
第三方登录授权对于很多开发者来说是很烦人的一件事,每个平台都要获得各自的权限,实践起来非常麻烦.今天 Gitee 给大家推荐的这款开源项目就是针对这个痛点所开发,一次性集成了十多家国内外常用的第三方平 ...
- python这个软件学会能做什么工作-不要再复制粘贴了 !学会Python,分分钟搞定一整天的工作...
上周末,好友小晶告诉我她想辞职了. 小晶在深圳一家电商公司做了 2 年的市场运营,为了更好的完成业绩,每天都赶着最后一班地铁回家. 虽然她才毕业 2 年,不过算上加班时长,我说她工作了 3 年真的不过 ...
最新文章
- 混合云环境中扩展Kubernetes的挑战及方案
- 德国蓝皮书:解决特定问题 德国渐进建设智慧城市
- h5 调起相机_Html5在手机端调用相机的方法实现
- python中index从列表中查_在Python中查找包含它的列表的项目的索引
- java 编译开关_Java开关盒字符串
- docker下beego开发环境搭建
- 消息钩子函数入门篇(1)--基础知识
- 仓储系统货位优化毕业论文【Flexsim仿真】
- OpenCms显示默认作者
- 三菱PLC快速实现OPC UA
- SpringBoot框架下集成萤石云平台开发海康的摄像头
- 压力传感器原理与组成
- 计算机课教学常规要求,2020学校教学常规管理制度
- TECPLOT自定义函数
- linux PWM驱动屏幕亮度及pwm子系统框架(Linux驱动开发篇)
- 在Linux中设置共享目录
- 汇川PLC如何连接工业网关实现远程编程和远程上下载程序?
- 搭建一个SV验证环境(1)
- 赤峰中考计算机考试软件,2018赤峰中考信息技术与实验操作实施细则公布
- Windows下C语言实现HTTP客户端
热门文章
- Facebook 对前端工程师的要求是啥?一起来看看
- 说说pgpool-II的 health check
- Android开发学习笔记:对话框浅析
- 李飞飞获全球最权威女性领导力奖 Athena Award,讲述推动AI多元化三大原因(视频)...
- C# Winform 通过FlowLayoutPanel及自定义的编辑控件,实现快速构建C/S版的编辑表单页面...
- D - Mike and strings
- Kettle性能调优汇总
- 【算法】9 散列表【待补充】
- Sql Server 性能分析4 –数据库大小,数据库表大小综合性分析报表输出
- 交换机与集线器的区别