CVPR 2022 | 阿里达摩院新技术,美体塑形一键就成
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
来源丨人脸人体重建
亚洲 四 大 "邪 术",想必大家都早已耳闻
作为四大 "邪 术" 之首,中国的 PS 术想必大家肯定都有所见识,俗话说“工欲善其事,必先利其器”,一个优秀的 PS 工具必然能够显著增加单位时间的 P 图量,从而有效提升每天的 PO 图量。如果有一个优秀的一键美体的工具,对于中国 PS 术的进一步提升必然有着重大意义!阿里巴巴达摩院最近也为这项艰巨的任务做出了一点贡献,在计算机视觉顶级会议 CVPR 2022 发表了一篇文章,提出了一种一键美体的新方案。话不多说,先看效果!
瘦胳膊▲
瘦腿瘦腰▲
背景扭曲貌似有点严重▲
文章作者均来自阿里巴巴达摩院,作者提出了一种基于结构感知的流场生成框架,来用于端到端的人体变形。
项目仓库:https://github.com/JianqiangRen/FlowBasedBodyReshaping
方法
文章方法的流程如下图所示,给定一张高分辨率的肖像图 , 首先将其降采样到低分辨率图 ,再通过 pose estimator 模块提取人体骨架图 和 Part Affinity Fields (PAFs) ,人体骨架暗含局部变形方向,PAFs 能够协助对需要变形的部位进行定位。接下来将骨架图 和图片 拼接在一起送入 Flow Generator,Flow Generator 的跳跃连接包含一个 Structure Affinity Self-Attention (SASA) 模块,用于提高生成的流场 与 PAFs 指导的一致性。流场 生成后,再将其上采样到原图分辨率,通过变形运算 得到最终的结果。
数据集
作者从 Unsplash 网站收集了 5000 张分辨率为 2K 的高质量肖像图,由于本文的人体美化任务与人脸无关,为了保护隐私作者对图片的人脸区域做了模糊处理。考虑到美体在女性群体中更受欢迎,数据集中的大部分图片都是女性,涵盖不同年龄、种族、姿态和外衣。作者邀请了三个专业的艺术家,使用 Adobe Photoshop 独立地对这些图片进行美化,以达到当前流行的美学标准,并从三个结果图中选择最好的一个作为 GT。
结果
下图展示了文章方法与其他方法的对比结果,文章方法可以实现更逼真、更自然的美体效果。
文章方法的局限性主要有两点:
文章方法是通过预测变形流场来对图片进行变形,因此可能对背景区域带来扭曲。不过这一问题可以通过人体Matting技术来改善,通过对前景中的人体进行变形,再和提前采集的背景或 image inpainting 修复的背景融合,可以得到没有瑕疵的结果。
Matting Before Reshaping
人体变形任务一般涉及全身的多维度属性,包括体重和身高。但本文主要关注体重的编辑,无法改变人体骨架的方向和长度。但身高的变形可以通过对骨架长度方向进行非均匀缩放来实现。
参考
1. Structure-Aware Flow Generation for Human Body Reshaping. Jianqiang Ren, Yuan Yao, Biwen Lei, Miaomiao Cui, Xuansong Xie. CVPR, 2022.
本文仅做学术分享,如有侵权,请联系删文。
3D视觉精品课程推荐:
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法:算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼)
13.重磅!四旋翼飞行器:算法与实战
14.ROS2从入门到精通:理论与实战
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~
CVPR 2022 | 阿里达摩院新技术,美体塑形一键就成相关推荐
- CVPR 2022 | 阿里达摩院提出ABPN:高清人像美肤模型
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入->CV微信技术交流群 一.论文&代码 论文: https://openaccess. ...
- AAAI 2022 | 北大 阿里达摩院:基于对比学习的预训练语言模型剪枝压缩
近年来,预训练语言模型迅速发展,模型参数量也不断增加.为了提高模型效率,各种各样的模型压缩方法被提出,其中就包括模型剪枝. 然而,现有的模型剪枝方法大多只聚焦于保留任务相关知识,而忽略了任务无关的通用 ...
- 【报告分享】阿里达摩院:2022十大科技趋势.pdf(附下载链接)
省时查报告-专业.及时.全面的行研报告库 省时查方案-专业.及时.全面的营销策划方案库 大家好,我是文文(微信号:sscbg2020),今天给大家分享阿里达摩院于2021年12月发布的报告<20 ...
- 阿里达摩院最新FEDformer,长程时序预测全面超越SOTA | ICML 2022
©作者 | Qingsong 单位 | 阿里达摩院决策职能实验室 论文标题: FEDformer: Frequency Enhanced Decomposed Transformer for Long ...
- #今日论文推荐# 阿里达摩院最新FEDformer,长程时序预测全面超越SOTA | ICML 2022
#今日论文推荐# 阿里达摩院最新FEDformer,长程时序预测全面超越SOTA | ICML 2022 时间序列预测在众多领域中(例如电力.能源.天气.交通等)都有广泛的应用.时间序列预测问题极具挑 ...
- 阿里达摩院XR实验室2022校招内推
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 阿里达摩院-XR实验室2022校招 面向对象:2022年11月~2023年10月毕业的应届毕业生 工作地: ...
- 阿里达摩院-XR实验室2022春招校招内推
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 阿里达摩院-XR实验室2022春招校招 面向对象:2022年11月~2023年10月毕业的应届毕业生 校招面 ...
- 阿里达摩院发布2022十大科技趋势
点击"开发者技术前线",选择"星标" 让一部分开发者看到未来 来自:阿里达摩院 刚刚,阿里巴巴达摩院发布2022十大科技趋势,这是达摩院连续第四年发布前沿科技趋 ...
- 阿里达摩院预测2022十大科技趋势,有几分靠谱?
数据智能产业创新服务媒体 --聚焦数智 · 改变商业 科技要向前发展,除了埋头赶路,攻克一个个的技术难关外,也要抬头看天,寻找未来的突破方向. 从这个意义上来说,机构或个人发布的一些科技趋势预测,有一 ...
最新文章
- vue-concise-slider vue滑动组件
- 手动将经典 VM 从 VHD 迁移到新的 ARM 托管磁盘 VM
- pythonnumpy教程_Python教程:numpy的基本介绍
- typescript 使用_如何使用TypeScript轻松修改Minecraft
- IntelliJ Idea注释模板--类注释、方法注释
- form表单用js提前执行函数若不成功则不提交_面试必会的重复提交 8 种解决方案!...
- 多媒体计算机接口卡,多媒体技术基础 2.2多媒体接口卡 多媒体接口卡.docx
- 一步步入门搭建SpringSecurity OAuth2(密码模式)
- 安装内存条后系统蓝屏怎么解决
- 语义分割标注工具Semantic Segmentation Editor 快速安装指南
- 三八定律时间管理思想
- 三年内人人有FIL,FIL 世界零撸板块引发全球流量狂潮!
- Android 上 NFC 应用
- JavaScript获取元素下标的几种方法
- GDKOI-PJ-2021 Day2总结
- 怀旧服服务器荣誉系统是啥,魔兽世界怀旧服:PVP荣誉系统简介,想刷大元帅这些内容必须了解...
- 我的世界服务器无限凋零,我的世界:无法被完全隐形的六种生物,凋零:能不能给点面子?...
- 估值数亿的A轮公司倒闭了,90后CEO还患上肿瘤:创业(失败)到底是怎样的体验...
- [回归分析][11]--共线性数据的分析
- java 连接solrcloud_Java操作SolrCloud