CVPR2021最佳论文:当GAN遇到3D场景,无需监督就学会“动态抠图”、360度展示对象...
月石一 发自 凹非寺
量子位 报道 | 公众号 QbitAI
GAN又又又有新玩法了!
人脸?NO,NO,NO~
这回,开发者利用「3D+GAN」生成了汽车大片,还是能360度展示、随手换背景那种。
只需无监督训练,模型就可以产出几百万张新车硬照!
不只是车,还有人脸、猫咪、建筑、家具等等……(好家伙,利好设计师~)
无论是换背景、改外观,还是在场景中添加、平移、旋转对象,或者改变视角,都能搞定。
这项研究摘得CVPR2021最佳论文奖,现已开源,研究团队来自马普所和图宾根大学。
在此前的研究中,深度生成模型虽然可以合成高分辨率的图像,但生成过程的可控性不足。
而对变化因素的研究大多局限于2D空间,很少考虑场景的组成。
研究人员在GAN中加入了3D场景,新模型能够生成更可控、质量更高的图像,并且模型参数量更少。
那么3D与GAN是如何结合起来的?
GAN+3D:合成可控
研究人员将神经渲染管道与场景表示结合,把场景表示为合成的生成性神经特征场,就得到了一个真实、高效的图像合成模型——GIRAFFE。
具体而言,首先要为场景和对象采样单独的潜在编码,为正则空间提供特征字段。
将3D点和观察方向映射到密度值和特征向量的函数,即为特征场。
接下来,为每个对象采样一个视角,生成器将对象和背景合成到一个场景中。
将生成器生成的图像与真实图像输入判别器,再利用对抗性损失进行无监督训练。
虽然训练集使用了原始、未定位的图像,但在测试时,包括相机和物体的视角,以及物体的形状、外观,都能够得到控制。
最后,利用2D神经渲染网络,对相机视角、体积渲染场景的特征图像进行采样,将其转换为最终的具有3×3卷积的RGB渲染图像。
△神经渲染网络
与其他模型对比
研究人员将GIRAFFE与基于2D的GAN进行了比较。
平移单个对象时,二者的效果对比情况:(右图为新模型)
相比之下,新模型还能够实现更复杂的操作,比如循环移动、改变背景、添加对象等。
此外,研究人员还分别使用64×64和256×256像素的图像,对不同模型进行了对比。
在固定背景的情况下旋转对象,新模型的效果比其他模型更优:
在定量分析中,新模型在不同像素下的FID分数都更低,说明生成效果更好:
(FID分数是通过生成图像与真实图像的“距离值”,得到的评估分数,数值越小越好。)
并且,新模型的参数量也更少:(单位:百万)
泛化能力如何?
此外,模型还能在训练数据之外进行泛化。
比如增加水平和深度平移范围:
合成比训练时更多对象的场景:(训练集图像中仅一辆汽车)
开发者表示,这项技术可以应用在动画和游戏制作中。3D动画师们离解放又近了一步~
GIRAFFE已经在GitHub上开源,感兴趣的小伙伴可戳文末链接了解~
相关链接:
[1]https://arxiv.org/abs/2011.12100
[2]https://autonomousvision.github.io/giraffe/
[3]https://m-niemeyer.github.io/project-pages/giraffe/index.html
[4]https://m-niemeyer.github.io/slides/#/
[5]https://github.com/autonomousvision/giraffe
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
CVPR2021最佳论文:当GAN遇到3D场景,无需监督就学会“动态抠图”、360度展示对象...相关推荐
- CVPR 2021 最佳论文!对抗神经网络GAN解决3D场景难题
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:量子位 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 GA ...
- CVPR2021 最佳论文 Giraffe,当之无愧的最佳,或开创新的篇章
点击下方"AI算法与图像处理",一起进步!重磅干货,第一时间送达 https://github.com/autonomousvision/giraffe http://www.cv ...
- CVPR2021 最佳论文候选—提高图像风格迁移的鲁棒性
1 前言 该论文出自于加州大学圣地亚哥分校并收录于CVPR2021,主要是对图像风格迁移的研究.传统的方法是由预先训练的网络提取的特征之间的相关性从而捕捉图像的视觉风格,但这种风格化质量并不稳定,当应 ...
- 前端的小玩意(14)——一步一步教你写一个3D房间(从零到移动到360度视角)
代码见我的github: https://github.com/qq20004604/some_demo/tree/master/3D%E6%88%BF%E9%97%B4 DEMO地址见:(对手机不友 ...
- ECCV 2022最佳论文奖公布!两位华人学者摘得桂冠!本科来自清华、浙大
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入-> CV 微信技术交流群 转载自:机器之心 | 编辑:杜伟.陈萍 近日,位列计算机视觉领 ...
- ECCV 2022全奖项公布,两位华人学者摘得最佳论文奖,本科来自清华、浙大
来源:机器之心 本文约2600字,建议阅读5分钟 本文提出了一种基于神经距离场 (NDFs) 的人体姿态连续模型:Pose-NDF. 近日,位列计算机视觉领域三大国际顶级会议的 ECCV 2022 在 ...
- ECCV 2022,两位华人学者摘得最佳论文奖,本科来自清华、浙大
来源:机器之心 据大会官方统计,今年共有 18310 位作者提交了 6773 篇论文,总共有 5804 份有效投稿,最终 1645 篇论文被接收,其中包括 157 篇 Oral,整体接收率为 28%, ...
- Qt Creator 创建优化的3D场景
Qt Creator 创建优化的3D场景 创建优化的3D场景 最佳3D场景示例 高景 低景 组合场景 顶点颜色场景 优化3D场景 场景图 资产复杂度 优化CPU性能 优化模型几何 基于用例的3D场景最 ...
- 【QML】QML性能优化 | 3D场景优化
文章目录 一.四种3D场景设计方式 (1-1)低级场景 (1-2)高级场景 (1-2)混合场景 (1-3)Vertex颜色场景 二.3D场景优化规则 (2-1)Scene Graph (2-2)资源文 ...
最新文章
- vue/cli 3.0 与 2.0脚手架怎样mock数据
- 为Chrome多账户添加单独的快捷方式
- 指标搭建篇:如何搭建指标体系?——以公众号实战为例
- 第四章切比雪夫不等式、大数定理、中心极限定理
- Spring上传时报Invalid CSRF Token错误解决方案
- extjs jquery使用场合
- 2018年1月19日 第七次小组会议
- eclipse 方法补全快捷键设置
- C#调用Microsoft.DirectX.DirectSound问题记录及解决
- python环境的打包与加载
- oracle服务器cpu 100,Oracle数据库服务器CPU一直100%怎么处理-sql优化方面
- 微信小程序中使用iconfont作为图标库
- python菜鸟教程 pdf下载-Python实战-从菜鸟到大牛的进阶之路 pdf完整版
- 高速硬盘和固态硬盘的区别
- 改善睡眠的好物分享,提高睡眠质量
- 地图 显示 动态轨迹_腾讯地图SDK全新版本上线,可满足开发者核心诉求
- wince 串口 编程
- cadence中测输出功率方法
- JavaScript插件编写
- 自制APP连接OneNET---实现数据监控和下发控制(MQTT)
热门文章
- hadoop1.x 与hadoop2.x 架构变化分析
- 【独立开发人员er Cocos2d-x实战 009】Cocos2dx 菜单项CCMenu使用
- 在 Chrome 开发者工具中调试 node.js
- Arcgis for JS之Cluster聚类分析的实现
- 算法很重要,但是,并非所有,并不是每个人的选择
- Knockout应用开发指南 第六章:加载或保存JSON数据
- WinAPI: CreateFontIndirect - 根据字体结构建立逻辑字体
- 再学 GDI+[11]: DrawCurve - 绘制曲线
- 深入JDK中的Optional
- 面试官:你说你精通Redis,你看过持久化的配置吗?