＜CVPR2020 Oral＞AI妆容迁移: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer

写在前面: 跟朋友讨论的时候，发现妆容迁移也有挺大的市场，看到一篇关于这个的介绍文，学习一下～
论文地址: https://arxiv.org/pdf/1909.06956.pdf
这篇论文是CVPR2020 oral. 没有开源训练代码～

古老的美容行业(The age-old beauty industry)正在经历一场变革，成千上万的博主在互联网上分享美容、化妆技巧、技术和化妆偏好。但是，当问题来到: "我应该涂哪种唇膏或者为啥我画出来的妆跟demo video里的差这么大？"的时候，
人工智能可能更有能力提供答案（AI may be better equipped to provide the answer）。

最近，来自多个研究机构提出的PSGAN被放出来: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer, 这个论文提出了一种将reference的makeup style迁移到给定用户上面的方法。

PSGAN由3个网络组成,
可以看到，PSGAN有1个Makeup 蒸馏网络，其目的在于disentangle妆发特征: 比如口红，眼影等.
然后有1个对source image区域进行morphing的AMM网络，最后还有1个De-makeup&Re-makeup网络
用于消除source image的妆容，并pixel-wise的施加新的makeup上去。

其操作都是对matrix β \beta β和 γ \gamma γ来进行的。

按照论文所说，PSGAN不仅可以从含有不同姿态和面部表情的参考图像(reference)中转换化妆风格，还可以从多个参考图像中处理局部化妆风格和对化妆风格进行插值(interpolate), 以取得渐变效果。

对化妆风格进行插值的结果

作者们在MT数据集上训练了PSGAN。并在Amazon Mechanical Turk上做了user study(定量分析)——通过使用20个source image和20个reference image (从MT的测试集中随机挑选)。

实验表明，PSGAN输出的图片的效果 远远好于(dramatically higher than) BGAN, DIA和CGAN这些其它的makeup transferring model.

可以看出，虚拟化妆效果的产生可以减少顾客为了尝试新的化妆品而去实体店化妆柜台的需求，并且可以鼓励用户尝试新的外观和新的产品。

这篇论文是北航，中科院，新加坡国立，依图一起做的。
Author: Victor Lu | Editor: Michael Sarazen; Tony Peng

＜CVPR2020 Oral＞AI妆容迁移: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer相关推荐

百变冰冰！使用飞桨的PaddleGAN实现妆容迁移
项目链接:百变冰冰!基于PaddleGAN实现妆容迁移 1 项目背景最近看了一篇文章是关于用ai为冰冰上妆的博文,文章使用的是SCGAN架构,但直接使用SCGN提取妆容效果并不是很好,文章的解决办法 ...
AAAI 2022：SSAT，一个对称的语义感知的妆容迁移与移除网络｜AI Drive
本期 AI Drive以SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal(AAA ...
百变冰冰！手把手教你实现CVPR2021最新妆容迁移算法
作者:小潘师兄来源:AI算法与图像处理简介在本文中,我们从不同的角度将妆容迁移问题分解为两步提取-分配过程.为此,我们提出了一种基于风格的可控GAN模型,该模型由三个部分组成,每个部分分别对应于 ...
【论文解读】CVPR 2021 妆容迁移论文+ 代码汇总，美得很美得很！
妆容迁移是指将目标图上的妆容直接迁移到原图上的技术.相比传统贴妆技术,妆容迁移具有极高的自由度,它可以让用户不再局限于设计师设计好的妆容,而是可以自主.任意地从真实模特图中获取妆容,极大地丰富了妆容的 ...
直播预告 | AAAI 2022论文解读：对称的语义感知的妆容迁移与移除网络
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
人脸妆容迁移---研究和思考
引自:http://blog.csdn.net/trent1985/article/details/70226779 引自:http://blog.csdn.net/jsgaobiao/article ...
CVPR 2021 妆容迁移 CPM SCGAN
效果图: 有两种模式:肤色迁移和图案迁移妆容迁移是指将目标图上的妆容直接迁移到原图上的技术.相比传统贴妆技术,妆容迁移具有极高的自由度,它可以让用户不再局限于设计师设计好的妆容,而是可以自主.任意地 ...
论文Makeup Like a Superstar： Deep Localized Makeup Transfer Network（2016，妆容迁移，基于数据库匹配）
论文下载地址:https://arxiv.org/pdf/1604.07102.pdf 演示粉底,唇彩,眼影的迁移,模型可扩展到其它化妆品的迁移,可控制妆容的轻薄程度.端到端的深度卷积神经网络(基于数 ...
人像美妆---妆容迁移算法研究(Makeup transfer)
对于人像美妆算法,现在的美妆相机.玩美彩妆之类的app已经做的比较成熟了,但是具体算法,基本网络上是杳无可查,今天本人介绍一种自动的人像美妆算法----(Makeup Transfer)妆容迁移妆容 ...

＜CVPR2020 Oral＞AI妆容迁移: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer

＜CVPR2020 Oral＞AI妆容迁移: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer相关推荐

最新文章

热门文章