这个AI能帮你女朋友自拍:从照片生成3D视频,总有个角度让她满意
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
爱自拍的女生,为了拍一张美照总是需要很久,就是为了找到最美的角度。
比如这位妹子,在自己的书架前拍了4张自拍照,都不太满意。
现在可以把选最美角度这件事交给AI了,让妹子不再苦恼。只要几张照片,它能从中生成各种角度的自拍。
然后,你可以在AI生成的视频里,找到一个自认为最美的角度,分享到朋友圈。
这个AI就是华盛顿大学和谷歌联合开发的nerfies。
这种方法不需要太复杂的设备,只要智能手机的摄像头和CPU就能完成运算和渲染。这可比iPhone 12 Pro用内置激光雷达来生成3D图像的成本低多了。
原理
看到nerfies这个名字是不是有种似曾相识的感觉?nerfies其实就是NeRF+Selfies两个单词合并而来。
NeRF(神经辐射场)是谷歌最近开发的一种2D图像转3D的模型,但NeRF要求拍摄对象在整个过程保持完全静止。
比如,上面的妹子在自拍4张照片的时候,头部姿势不可避免地会发生变化,如果直接套用NeRF,效果惨不忍睹。
而nerfies则是可变性神经辐射场(Deformable NeRF),它能够重建非刚性变形的场景。
在NeRF的基础上,作者从几何和物理模拟的原理出发,提出了NeRF的弹性正则化,进一步提高了2D转3D的鲁棒性。
在可变性NeRF中,作者引入了弹性正则化、背景正则化以及一种可避免不良的局部最小值退火技术。
作者将潜在变形码(ω)和外观码(ψ)与每个图像关联。在观测帧中对摄像机光线进行追踪,并使用变形场将样本沿光线转换到规范帧,变形场由变形码ω编码为MLP。
另外使用转换后的样本位置(x0,y0,z0)、观察方向(θ,φ)和外观码ψ作为MLP的输入,来查询模板NeRF模块,并沿着光线对样本进行积分。
更多玩法
可变性NeRF不仅可以用于自拍,还有更多好玩的用途。
比如创建“希区柯克变焦”的效果,过去需要专门的摄影技巧,或者是通过由远及近的拍摄视频再后期处理。现在只要几张照片就可以了。
如果不需要场景角度变化,而是需要人物姿势变化呢?
可变性NeRF能在头向左和向右之间线性插入任意姿势的照片。
最后还有一个用途是生成防抖视频。既然可变性NeRF可以生成任意角度的图像,那么现在可以让手负责抖,而让它负责稳了。
目前作者还没有公布源代码,不过他们的项目主页上已经放上了GitHub的按钮,看来他们已经准备开源了。你是不是迫不及待想试一下呢?
项目地址:
https://nerfies.github.io/
论文地址:
https://arxiv.org/abs/2011.12948
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
这个AI能帮你女朋友自拍:从照片生成3D视频,总有个角度让她满意相关推荐
- 照片转3d模型_这个AI能帮女朋友自拍:照片生成3D视频,总有个角度让她满意
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 爱自拍的女生,为了拍一张美照总是需要很久,就是为了找到最美的角度. 比如这位妹子,在自己的书架前拍了4张自拍照,都不太满意. 现在可以把选最 ...
- 照片转3d模型_这个AI能帮你女朋友自拍:从照片生成3D视频,总有个角度让她满意...
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 爱自拍的女生,为了拍一张美照总是需要很久,就是为了找到最美的角度. 比如这位妹子,在自己的书架前拍了4张自拍照,都不太满意. 现在可以把选 ...
- 百度VR智拍再升级,3D环物拍摄一站生成
随着图像技术的升级,传统的静态图文因为不够立体.过于单调,很难吸引用户的关注,而电商平台的众多卖家不再满足于平面的需求. 如今,日趋流行的 3D 环物图像足够生动,又能抓住眼球,像这样成本高.难度大的 ...
- 担心在机场丢行李?这个日本AI能帮你到处找包
郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI 在机场火车站丢行李是怎样的体验? 顺着自己来的方向回去找一遍?四处联系工作人员求助?或者干脆因为行李证件丢失而错过航班,不得不开始 ...
- LIVE 预告 | CMU研究者:解放审稿人,AI可以帮我们实现自动审稿吗?
2021一开年,众多顶会投稿截止日期也在日渐邻近. 各大AI顶会论文呈现井喷之势的同时,审稿人们也在花费越来越多的精力在审稿过程中.作者们越来越普遍地开始抱怨会议中的论文评审随机性增加.不公正现象出现 ...
- 打工人的「周游世界」,AI算法帮你实现,泪目!
一.前言 大家好,我是 Jack . 最近又有一个算法火了,不知道你们看到没?直接看效果! 打工人的「周游世界」,AI 算法帮你实现. 效果这么稳定的人像 Image Matting算法真的不多,并且 ...
- 镜头过硬还是AI加持?华为P30 Pro拍月亮到底能不能行?
关注微信公众号:八爪鱼大数据(bazhuayudata) 华为P30 Pro优秀的拍照能力受到广大网友高度关注,其50倍变焦更是被津津乐道. 山顶看爱豆 邻居拉窗帘 银河不是梦 月亮在眼前 但是,最近 ...
- python画卡通人物用什么_干啥啥不行,吹牛第一名——Python头像动漫化,快来用女朋友照片生成一个动漫头像吧...
目录 Python头像动漫化,快来生成一个自己的动漫头像吧 一.前言 很多时候我们都会为头像发愁,像我这种万年不换头像的咸鱼从来没有这种烦恼.但是吧,有个个性化的头像还是非常有趣的,因为这个抠鼻屎的头 ...
- Goolge新AI算法实时生成3D场景 | 可下载
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 3D模型又有新玩法,Goolge的新AI算法实时生成3D场景!对于3D.AR/VR来说,三维重建.模型 ...
最新文章
- Xcode消除编译器警告
- 关于git fetch 和git pull 的区别
- FFmpeg音视频入门-使用FFmpeg读取多媒体文件的信息C++代码实现+详解
- 关于async 中return 和 return await 的差异
- 深入理解事件循环机制
- 前端程序员如何选择适合自己的培训机构
- c#如何实现excel导入到sqlserver,如何实现从sqlserver导出到excel中(详细)
- 关于学习web的自制roadmap
- idea mysql删除_IntelliJ IDEA 配置Mysql5.7 带图文详解 视频讲解
- JAVA获取文件本身所在的磁盘位置
- 安卓没有第三方rec获取root教程,成功率90%
- Creative Cloud Cleaner Tool mac卸载adobe系列软件详细教程
- 考研政治(二):马克思主义基本原理
- NameNode中Fslmage镜像和Edits编辑日志详解
- iCloud开发入门
- 火影忍者的最爱:三勾玉
- 微信小程序授权登录取消授权重新授权处理方法 附可用代码
- 《Java程序设计》复习整理
- 基于初始残差循环神经网络的乳腺癌组织病理学图像的分类
- POJ 3384 Feng Shui
热门文章
- javaweb学习总结——Filter高级开发
- Ubuntu 64位系统安装flash player
- HTML5 Canvas 基础API和实例
- 大学毕业生如何应对“没有工作经验”的难题
- 极客新闻——04、WiFi万能钥匙万玉权:管理应该是“自下而上”
- MySQL 分库分表及其平滑扩容方案
- 手写一个简单的HashMap,搞定挑剔面试官
- Spring Boot 服务监控,健康检查,线程信息,JVM堆信息,指标收集,运行情况监控...
- 高德技术评测建设之路
- 小程序海外也能做吗?小程序海外主体公司开发的案例