只需 2 张照片就能 2D 变 3D,这个 AI 能自己脑补蜡烛吹灭过程
2张废片啪地一合!
错过的精彩瞬间立刻重现,还能从2D升到3D效果。
看,小男孩可爱的笑容马上跃然浮现:
吹灭生日蛋糕蜡烛的瞬间也被还原了出来:
咧嘴笑起来的过程看着也太治愈了吧~
咱就是说,这回相机里熊孩子/毛孩子的废片终于有救了!
而且完全看不出是后期合成的效果,仿佛是原生拍摄的一般。
这就是谷歌、康奈尔大学、华盛顿大学最近联合推出的成果,能只用2张相近的照片还原出3D瞬间,目前已被CVPR 2022收录。
论文作者一作、二作均为华人,一作小姐姐本科毕业于浙江大学。
用2张照片正反向预测中间场景
这种方法适用于两张非常相似的照片,比如连拍时产生的一系列照片。
方法的关键在于将2张图片转换为一对基于特征的分层深度图像 (LDI),并通过场景流进行增强。
整个过程可以把两张照片分别看做是“起点”和“终点”,然后在这二者之间逐步预测出每一刻的变化。
具体来看,过程如下:
首先,将两张照片用单应矩阵(homegraphy)对齐,分别预测两张照片的稠密深度图。
然后将每个RGBD图像转换为彩色的LDI,通过深度感知修复背景中被遮挡的部分。
其中,RGB图像即为普通RGB图像+深度图像。
之后用二维特征提取器修复LDI的每个颜色层,以获取特征层,从而生成两份特征图层。
下一步就到了模拟场景运动部分。
通过预测两个输入图像之间的深度和光流,就能计算出LDI中每个像素的场景流。
而如果想要两张图之间渲染出一个新的视图、并提升到3D,在此需要将两组带特征值的LDI提升到一对3D点云中,还要沿着场景流双向移动到中间的时间点。
然后再将三维的特征点投影展开,形成正向、反向的二维特征图及对应深度图。
最后将这些映射与时间线中对应时间点的权重线性混合,将结果传给图像合成网络,就能得到最后的效果了。
实验结果
从数据方面来看,该方法在所有误差指标上,均高于基线水平。
在UCSD数据集上,这一方法可以保留画面中的更多细节,如(d)所示。
在NVIDIA数据集上进行消融实验表明,该方法在提高渲染质量上表现也很nice。
不过也存在一些问题:当两张图像之间的改变比较大时,会出现物体错位的现象。
比如下图中酒瓶的瓶嘴移动了,不该发生变化的酒杯也摇晃了起来。
还有照片如果没有拍全的地方,在合成的时候难免会出现“截肢”的情况,比如下图中喂考拉的手。
团队介绍
该研究的一作为Qianqian Wang,现在在康奈尔大学读博四。
她本科毕业于浙江大学,师从周晓巍。
研究兴趣为计算机视觉、计算机图形学和机器学习。
二作是Zhengqi Li,博士毕业于康纳尔大学,本科毕业于明尼苏达大学,目前在Google Research。
曾获提名CVPR 2019最佳论文,谷歌2020博士奖研金,2020年Adobe Research奖学金,入围百度2021年AI华人新星百强榜单。
参与此项研究的还有华盛顿大学教授Brian Curless。
他还提出过另一种方法能够实现类似效果,同样只用到了2张照片,通过新型帧插值模型生成连贯的视频。
论文地址:
https://3d-moments.github.io/
来源:量子位
-------- End --------
精选内容
图解Pandas-图文01-数据结构介绍
图解Pandas-图文02-创建数据对象
图解Pandas-图文03-读取和存储Excel文件
图解Pandas-图文04-常见的数据访问
图解Pandas-图文05-常见的数据运算
图解Pandas-图文06-常见的数学计算
图解Pandas-图文07-常见的数据统计
图解Pandas-图文08-常见的数据筛选
只需 2 张照片就能 2D 变 3D,这个 AI 能自己脑补蜡烛吹灭过程相关推荐
- CVPR 2022 | 只需2张照片就能2D变3D,这个AI脑补蜡烛吹灭过程
来源:量子位 2张废片啪地一合! 错过的精彩瞬间立刻重现,还能从2D升到3D效果. 看,小男孩可爱的笑容马上跃然浮现: 吹灭生日蛋糕蜡烛的瞬间也被还原了出来: 咧嘴笑起来的过程看着也太治愈了吧~ 咱就 ...
- python turtle怎么画海绵宝宝_画师绘制海绵宝宝性转拟人,派大星变小帅哥,又脑补一出甜蜜大戏...
我已经工作了有一段时间了,但是我依然很喜欢看<海绵宝宝>这部动漫,每次看的时候都会笑得没心没肺,十分欢乐. 好羡慕海绵宝宝和派大星他们啊,海绵宝宝还要上班,有自己的理想和工作,派大星真的是 ...
- 想象力惊人!只凭一句话,AI就能脑补出动漫小片
岳排槐 发自 凹非寺 量子位 出品 | 公众号 QbitAI <摩登原始人>你看过么? 这是一道暴露年龄题. 安妮薇,<摩登原始人>是一部首播于1960年的喜剧动画片.第一季在 ...
- [其它软件] 【手机通过电脑上网】只需几分钟,让电脑变WIFI【图文】
最近论坛上出现了名为[只需一步,让电脑成WIFI热点你的手机,android共享上网!]的骗子帖子!!!伤了不少机油的心,相信大家都很气愤! 希望版主加强管理 !!鉴于很多童鞋都需要wifi又苦于没有 ...
- 2D变3D,视角随意换,神还原高清立体感,还是不用3D建模的那种 | 代码数据开源...
十三 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 看到这张恐龙化石的动态图片,你肯定会认为是用视频截出来的吧? 然而真相却是--完全由静态图片生成! 没错,而且还是不用3D建模的那种. ...
- 拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率
3D点云连续帧标注是自动驾驶场景中应用较为广泛的一种数据处理类型,对三维空间感知能力以及多帧协同处理能力要求较高. 传统逐帧标注模式下,无论采用手动复制对象方式还是自动复制对象方式,标注效率均无质的 ...
- DensePose开源了,2D变3D人体姿势实时识别 | Facebook@CVPR 2018
圆栗子 编译整理 量子位 出品 | 公众号 QbitAI 大家可能还记得,今年2月Facebook发布的,人体姿势实时识别系统DensePose. 现在,代码开源了.撒花. 100人也很轻松 Dens ...
- 只需一分钟,手机摄像头秒变电脑摄像头!这软件厉害了!
版权归作者所有,任何形式转载请联系作者. 作者:清霁丶(来自豆瓣) 来源:https://www.douban.com/note/780953808/ 前言 前几期介绍了手机话筒变成电脑麦克风,今天这 ...
- 只需3步,使用Stable Diffusion无限生产AI数字人视频
效果演示 先看效果,感兴趣的可以继续读下去. 没有找到可以上传视频的地方,大家打开这个网盘链接观看:https://www.aliyundrive.com/s/CRBm5NL3xAE 基本方法 搞一张 ...
最新文章
- 20145101《Java程序设计》第4周学习总结
- RedisLive监控工具 windows部署笔记
- centos6配置日志外发_CentOS6下记录后台操作日志的两种方式
- JZOJ 5275. 水管
- Web框架之Django_06 模型层了解(F查询、Q查询、事务、update和save、only和defer、choice属性、bulk_create)
- 计算机编程工程师理论知识,结构工程师基础知识点:程序设计语言
- C#操作SQLite数据库增、删、改、查 实例
- JAVA基础进阶day01
- axure,购物车数量递增或递减
- 用python效率办公_如何用Python提高办公(Excel)效率?
- [SQL]实战之统计出当前各个title类型对应的员工当前薪水对应的平均工资
- CSS3特效----制作3D旋转导航
- php的gd怎么打开,CentOS 中PHP开启 GD功能
- 【计算机软件基础】如何理解鲁棒性Robust?
- android放大镜无广告,放大镜微件 | Android 开发者 | Android Developers
- HTTPS是如何保证数据传输安全的?
- 偏差平方和说明什么_什么是平方误差和均方误差
- 个人推荐一款并发测试工具
- 自行解决12306页面显示异常的问题(长城宽带下WWW。12306无法正常使用)
- 什么是高中物理?一篇长长长长文告诉你!