CVPR 2019 Oral | 华科开源效果超群的人体姿态迁移算法
置顶我爱计算机视觉,更快获取CVML新技术
今天跟大家重磅介绍华中科技大学刚刚开源的一款人体姿态迁移算法,其基于GAN思想构建,效果好到简直令人不可思议,论文《Progressive Pose Attention Transfer for Person Image Generation》已中 CVPR 2019 Oral,非常值得一读~
作者信息:
论文出自华科白翔老师组,作者单位分别为华中科技大学、微软Redmond,中兴集团。
什么是姿态迁移?
简单点说,就是给定一幅含有人物的图片和一个目标姿态,将图片内人物转换成目标姿态的样子。当然目标姿态可以是从其他图片人物中计算得来的。(所以也可以将一幅图片的人物转成另一图片内人物的姿态)
这听起来就是一项黑科技。
很显然这是一个很有趣的应用,比如给定一幅人物图像,可以将里面人物按照另一段视频里的人物变换姿态。只需要一幅你的图片,就能让你跳出优美的舞蹈~
不过,毕竟一幅图片信息有限,转换后不会惨不忍睹吧。
下图是该论文算法实现的效果(请务必点击查看大图!)。这里的目标姿态使用线段连线表示。
难以置信,图片下面6幅生成的结果图片是靠左边的一幅图生成出来的!点击大图查看,你会发现细节很清晰!
尽管只有侧颜侧身照,但不耽误我们360度看美女^_^
是不是很神奇~
算法原理
首先我们先看看作者在这个过程中使用的数据,首先是一幅图片Condition image Pc,与该图片中使用姿态估计算法提取的姿态Condition Pose Sc,还有目标姿态Target Pose St。
作者提出了一种称之为Progressive Pose Attention Transfer(渐进的姿态注意力迁移)模型。
作者基于GAN思想构建算法。对于输入的人物图片和姿态,生成新的人体姿态图片和姿态,并有两个判别器,一个纹理判别器一个形状判别器,判断生成器生成的人物图片和姿态是不是真实的。
姿态迁移是由生成器完成。下图表达了作者设计的生成器的算法架构。
在Pose-Attentional Transfer Network中含有多个Pose Attentional Block,其作用是对输入的image pathway和pose pathway按照Pose Mask进行更新,图中Mt即为Pose Mask,它引导网络将图片中人物的不同的部分按照目标姿态进行像素块迁移。
将最后一个Block中Image Pathway的数据经过解码网络,即得到了最终的生成图像。
实验结果
作者在DeepFashion与Martket-1501数据集上进行了实验。
在训练阶段,分别在这两个数据集上构建了263632和101966样本对。
文中评价指标不再细述。
下表是该文算法与已有算法的量化比较:
可见该文算法在绝大多数评价指标下都取得了最好的结果。
下图是与其他算法的效果图比较,可见视觉上该文算法比以往算法都更加自然。其中可见右上人物的背包保留的最为真实。
另外姿态迁移本身是不好用数值量化的,最好的评价是人眼的感知。
所以作者又做了个用户调查,邀请志愿者对三种算法的生成结果进行盲评。
下表是用户调查的结果:
可见,该文算法生成的结果被认为是最为真实。
下图为参数量和速度的比较。Titan X GPU上跑的实验。
该文算法在效果最好的同时,参数量最少,速度最快!
最后作者用该文提出的算法对行人图片进行姿态迁移,为行人重识别生成训练图片。
使用这种增广样本训练的行人重识别算法获得了显著的精度提升。
用这套算法,可以为行人重识别无限扩充样本了!
作者已将代码开源!
论文地址:
https://arxiv.org/abs/1904.03349#
代码地址:
https://github.com/tengteng95/Pose-Transfer
论文代码下载:
在我爱计算机视觉公众号对话界面回复“姿态迁移“(建议复制),即可收到论文与代码的百度云下载地址。
感谢开发者的开源分享,欢迎大家试用并在Github上Star该工程~
加群交流
关注神奇的生成对抗网络GAN技术,欢迎加入52CV-GAN专业交流群,下方扫码CV君拉你入群,验证信息请务必注明:GAN。
喜欢在QQ交流的童鞋可以加52CV官方QQ群:702781905。
(不会时时在线,如果没能及时通过还请见谅)
长按关注我爱计算机视觉
麻烦给我一个“在看”!
CVPR 2019 Oral | 华科开源效果超群的人体姿态迁移算法相关推荐
- CVPR 2019 Oral | 视觉识别新范式:开放世界下的大规模长尾识别
置顶我爱计算机视觉,更快获取CVML新技术 上周一篇发布于arXiv的CVPR 2019 Oral论文引起了广泛的关注,来自香港中文大学与加州大学伯克利分校的研究学者重新思考了真实世界的视觉识别类别分 ...
- CVPR 2019 Oral | 京东目标检测算法ScratchDet的深入思考
本文为CVPR 2019 Oral ScratchDet算法的第一作者朱睿投稿,转载自作者公众号BringYourOwnVision,欢迎大家于文末右下角关注. 使用ImageNet预训练的网络模型能 ...
- CVPR 2019 Oral 论文精选汇总,值得一看的 CV 论文都在这里(持续更新中)
CVPR 2019 即将于 6 月在美国长滩召开.今年有超过 5165 篇的大会论文投稿,最终录取 1299 篇,其中 Oral 论文近 300 篇.为了方便社区开发者和学术青年查找和阅读高价值论文, ...
- CVPR 2019 Oral 亮风台提出端到端投影光学补偿算法,代码已开源
点击我爱计算机视觉置顶,更快获取CVML新技术 导读:图像增强是一个历久弥新的研究方向,大多数计算机视觉学习者最开始接触的图像平滑.去噪.锐化是增强,现在研究比较多的去雾.去雨雪.暗光图像恢复也是增强 ...
- CVPR 2019 Oral 目标跟踪最强算法SiamRPN++开源实现
点击我爱计算机视觉标星,更快获取CVML新技术 SiamRPN++ 算法出自论文: SiamRPN++: Evolution of Siamese Visual Tracking with Very ...
- 亮风台新提端到端AR投影光学补偿算法 | CVPR 2019 Oral
[编者按]作为计算机视觉领域里的顶级会议,CVPR 2019 录取论文代表了计算机视觉领域在2019年最新的科技水平以及未来发展潮流.今年有超过 5165 篇大会论文投稿,最终录取 1299 篇.这些 ...
- 经典回顾 | 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper...
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
- 人脸照片秒变艺术肖像画:清华大学提出APDrawingGAN CVPR 2019 oral paper
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
- CVPR 2022 Oral | 清华开源FineDiving:细粒度动作质量评估数据集
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 作者:荷塘小八戒 | 已授权转载(源:知乎)编辑:CVer https://zhuanlan.zhihu. ...
最新文章
- kettle-核心概念
- select子句顺序
- 嵌入式C语言代码规范
- Leetcode 102.二叉树的层序遍历 (每日一题 20210628)
- Android -- 自定义View小Demo,绘制四位数随机码(一)
- ids和ips主要区别在于_接口测试和功能测试的区别
- cs寄存器 x86 特权模式_Windows操作系统管理进程和线程:内核模式和用户模式
- php dao 接口,SSH中公共Dao层、Dao接口
- 概览Visual Studio 15.3的第二个预览版
- python 实现C atoi函数
- linux下载ed2k资源,linux下迅雷替代方案-linux下载工具
- 理查德外推法计算偏导数近似值-python实现
- Windows 找不到休眠怎么办?
- C. Dominant Piranha(思维) Codeforces Round #677 (Div. 3)
- 环境配置 python 3.6+Anaconda+cuda9.0+cudNN7.0+Tensorflow
- iOS Block弱引用
- Java面试笔试经验技巧总结
- android飞行棋小程序,快来飞行棋小程序-微信快来飞行棋小程序小游戏-游戏宝手游网...
- 椭圆算法加密,java实现
- 软件测试缺陷表怎样描述,作为软件测试人员,如何描述缺陷(Defect)?
热门文章
- 微信小程序 【笔记003】小程序的事件处理
- 开源软件执照检查和工具探讨(Discuss the audit tools for open source license GPL/LGPL/MIT)
- 93没有了_93平旧两居大变身,二手房这样装修10万块搞定
- python访问注册表_python读取注册表中值的方法
- 电气研究生做计算机视觉,UCI研究生电气工程专业排名!师哥带你瞬间拿下
- 网易云android视频播放器,网易云服务-在线搜歌-数据结构
- php有哪些_php工作原理是什么?php常用功能有哪些?
- 声场测试话筒_国内外常见的测量话筒有哪些?大师们身边必备这几款!
- bigdecimal正确用法_BigDecimal使用实践和注意事项
- mysql主从配置 热备_MYSQL 主从热备方式配置