用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 2018
栗子 发自 凹非寺
量子位 出品 | 公众号 QbitAI
怎样让一个面朝镜头、静止不动的妹子,跳起你为她选的舞蹈,把360度身姿全面呈现?
Facebook团队,把负责感知的多人姿势识别模型DensePose,与负责生成的深度生成网络结合起来。
不管是谁的感人姿势,都能附体到妹子身上,把她单一的静态,变成丰富的动态。
这项研究成果,入选了ECCV 2018。
当然不能只有DensePose
团队把SMPL多人姿态模型,跟DensePose结合到一起。这样一来,就可以用一个成熟的表面模型来理解一张图片。
这项研究,是用基于表面的神经合成,是在闭环里渲染一张图像,生成各种新姿势。
△左为源图像,中为源图姿势,右为目标姿势
照片中人需要学习的舞姿,来自另一个人的照片,或者视频截图。
DensePose系统,负责把两张照片关联起来。具体方法是,在一个公共表面UV坐标系 (common surface coordinates) 里,给两者之间做个映射。
但如果单纯基于几何来生成,又会因为DensePose采集数据不够准确,还有图像里的自我遮挡 (比如身体被手臂挡住) ,而显得不那么真实。
△DensePose提取的质地 (左) vs 修复后的质地 (右)
那么,团队处理遮挡的方法是,在表面坐标系里,引入一个图像修复 (Impainting) 网络。把这个网络的预测结果,和一个更传统的前馈条件和成模型预测结合起来。
这些预测是各自独立进行的,然后再用一个细化模块来优化预测结果。把重构损失、对抗损失和感知损失结合起来,优势互补,得出最终的生成效果。
完整的网络结构,就如上图这般。
监督学习一下
模型的监督学习过程,是这样的:
从输入的源图像开始,先把它的每个像素对应到UV坐标系里。这一步是DensePose驱动的迁移网络完成的。
然后,负责修复图像的自编码器,就来预测照片中人的不同角度会是什么样子。这步预测,也是在扭曲的坐标系里完成的。
从右边开始,就是生成目标,同样要整合到UV坐标系中。再用损失函数 来处理 (上图红字部分) 把结果输入自编码器,帮助模型学习。
用同一人物 (同样装扮) 的多个静态姿势来作监督,替代了360度旋转的人体。
训练成果如何
先来看一下,新加入的图像修复步骤,生成的效果:
把DensePose的质地纹路,修复一下,还是有明显效果的。
再来看一下多人视频什么样子:
虽然,脸部好像烧焦的样子,但已经很鬼畜了。在下不由得想起:
另外团队用DeepFashion数据集,对比了一下自家算法和其他同行。
结果是,结构相似度 (Structural Similarity) ,以假乱真度 (Inception Score) 以及检测分 (Detection Score) 这三项指标,Facebook家的算法表现都超过了前辈。
各位请持续期待,DensePose更多鬼畜的应用吧。
论文传送门:
https://arxiv.org/pdf/1809.01995.pdf
顺便一提,教人学跳舞的算法真的不少。
比如,伯克利舞痴变舞王,优点是逼真,缺点是无法实现多人共舞:
vs
— 完 —
活动推荐
华为云•普惠AI,让开发充满AI!
爱上你的代码,爱做 “改变世界”的行动派!
大会将首次发布AI开发框架,从AI模型训练到AI模型部署的全套开发一站式完成!让AI开发触手可及!
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 2018相关推荐
- 拍拍乐(一)如何在照片里变瘦
虽然现在才春天,但假如你赶不及在夏天来临之前减完肥,却又不得不在此刻拍下人生中最重要的照片(像是毕业照.婚纱照等),咱们在这就提供了一些网络上.书上及专家们的小小妙招,告诉大家如何在照片里变瘦! 1. ...
- 为什么夜晚拍照时照片里有不规则光晕?(转载)
最近有朋友留言询问,为什么他拍照的时候,照片里总有不规则的光晕出现,而且向着太阳.灯光这类强光源时会很明显.其实这并不是你的手机摄像头出了问题,而是镜片组自身的物理特性导致的. 在业内这种现象被称之为 ...
- 【Android App】获取照片里的位置信息及使用全球卫星导航系统(GNSS)获取位置实战(附源码和演示 超详细)
需要全部代码请点赞关注收藏后评论区留言私信~~~ 一.获取照片里的位置信息 手机拍摄的相片还保存着时间.地点.镜头参数等信息,这些信息由相片接口工具ExifInterface管理,它的常用方法说明如下 ...
- wps里为什么没有华文楷体_(转给家长)“为什么老师发的照片里没有我家孩子?”...
原标题:(转给家长)"为什么老师发的照片里没有我家孩子?" 幼儿园当日活动结束后,老师通常都会在班级群里给家长们分享孩子在幼儿园生活的照片. 于是就会经常出现下面的对话: 小三班家 ...
- Python3,10行代码,我把情书写在她的照片里,她被我的才华征服了。
10行代码把情书写在她的照片里 1.引言 2.Pillow 2.1 Pillow 安装 2.2 Pillow 介绍 2.2.1 新建及保存图片 2.2.2 重新绘制图片 2.2.3 图片合并 2.3 ...
- 如何将照片里的脖子和脸PS成同一个颜色
如何将照片里的脖子和脸PS成同一个颜色 照片修改前 照片修改中 照片修改后 照片修改前 话不多说,直接上图,看这个小姐姐的婚纱照,乍眼一看,哇,这个小姐姐吼吼看吖,仔细一看,才发现....这个小姐姐还 ...
- 提取照片里的PPT部分
这几天上课老师说ppt不能拷...真是不爽,所以我写了一个提取照片里ppt部分的东西,其实原理很简单,代码贴出来大家就知道了,无非就是阈值化+轮廓提取+透视变换,效果还可以,不过我还是想再好一些,如果 ...
- 让照片里的你更好看的办法
[阅读]让照片里的你更好看的办法 Ways to Look Good in Photos How to put your best face forward and pose(v.摆姿势) lik ...
- 【ECCV 2018】Facebook开发姿态转换模型,只需一张照片就能让它跳舞(视频)
DensePose 是 Facebook 研究员 Natalia Neverova.Iasonas Kokkinos 和法国 INRIA 的 Rıza Alp Guler 开发的一个令人惊叹的人体实时 ...
最新文章
- Libvirt — Live Migration 的实现原理
- 第四节:格式化器如何序列化类型实例
- 02_Flink vs storm vs SparkStreaming、Flink vs storm对比图、实时框架如何选择
- sql2008“备份集中的数据库备份与现有的xx数据库不同”解决方法
- 修改安装路径 pip 以及修改运行路径
- bzoj1189 [HNOI2007]紧急疏散EVACUATE spfa+网络流+二分
- 2017.9.12 claris的剑 失败总结
- Linux内核中Makefile、Kconfig和.config的关系
- The library 'SocialSDK_QQZone_2.jar' contains nat
- JavaWeb视频教程(JSP/Servlet/上传/下载/分页/MVC/三层架构/Ajax)
- 利用Python计算农历日期
- XML基础复习[整理][转载]
- c语言遥控器程序设计,基于51单片机的红外线遥控器解码程序设计
- 熊猫TV技术与直播技术相关
- 磨刀不误砍柴工,掌握DEVC++的一些实用技巧
- win7计算机名怎么是感叹号,Win7系统wifi信号后出现感叹号怎么办 Win7连接wifi后出现感叹号三种原因和解决方法...
- 用python把图片换成蓝底_详解Python给照片换底色(蓝底换红底)
- 在Windows 下的 Qt 应用程序获得 Administrator 权限
- docker :gitlab Uploading artifacts to coordinator... too large archive should fail job
- MVC设计模式,自己搭建MVC开发框架
热门文章
- 《我编程,我快乐》摘抄和感想
- 上海亚商投顾:沪指重返3100点 房地产板块掀涨停潮
- RecyclerView的极尽升华:BaseRecyclerViewFragment(修改)
- python实现自动点赞——实践_2022-01-02
- 给未来的自己一封信计算机,给未来的自己的一封信
- 电路要怎样接地才正确?
- 【最长回文子串】Manacher算法详解
- qq挂机机制改变,换小时数为天数,挂机更漫长
- JavaScript中的正则表达式解析(一)——数字的匹配
- java execlp_简单比较C语言中的execl()函数与execlp()函数