IJCAI 2020 | 淡妆浓抹总相宜之人脸上妆
©PaperWeekly 原创 · 作者|黄智坤
学校|杭州电子科技大学硕士生
研究方向|图像生成、图像增强
这篇论文是杭州电子科技大学(HDU),悉尼科技大学(UTS),中国科学技术大学(University of Science and Technology of China),百度研究院(Baidu Research)被 IJCAI 2020 录用的文章 Real-World Automatic Makeup via Identity Preservation Makeup Net。
社交网络的不断发展也让人们对美颜技术提出了更高的要求,在完成图像美化的同时保证图像的真实性是至关重要的。作者从现实世界需求出发,探索了完成人脸自动上妆同时保留图像的真实性的方法,同时提出了使用 FID 以及 LPIPS 来量化人脸自动上妆的效果。
论文标题:Real-World Automatic Makeup via Identity Preservation Makeup Net
论文来源:IJCAI 2020
论文链接:https://github.com/huangzhikun1995/IPM-Net/blob/master/Real_World_Automatic_Makeup_via_Identity_Preservation_Makeup_Net.pdf
代码链接:https://github.com/huangzhikun1995/IPM-Net
之前的工作有什么痛点?
在生成带妆图像的时候也会引起背景或者人物身份信息的变化,这些变化会令生成的图像失去真实性,用户往往不希望一张美丽的自拍照被人一眼看出“破绽”。
化妆程度不可控。可调节的化妆效果更符合现实世界中用户的需求,单一的化妆效果会降低用户使用的兴趣。
评价指标的缺失。对于化妆效果的好坏还是依靠志愿者的主观判断,缺少客观的量化指标。
这篇论文提出了什么?解决了什么问题?
提出了一种新的基于现实世界的人脸自动上妆网络 IPM-Net,在完成人脸自动上妆的同时保留了图像中人物的身份信息以及图像背景信息,从而保证了生成图像的真实性。
基于现实世界的需求出发,引入了化妆程度可控的方案,用户可以按照自己的意愿控制生成图像的化妆程度。此外,图像处理的速度也是现实世界中考量的因素之一,在 2080Ti 上,我们的模型每秒可以处理 16 张 256*256 的人脸图像。
对部分来自网络的图像进行换装处理,也得到了不错的效果。但网络图像未经过标注,生成效果受到人脸特征分割效果的限制。
引入 FID 和 LPIPS 作为人脸自动上妆模型的量化指标。采用 FID 来测试生成图像的真实性,LPIPS 来测试生成图像的多样性。
具体实现
1.1 特征的定义
在本文中,我们首先定义了两种特征,一种为化妆风格特征,一种为身份信息特征。化妆风格特征与图像中人脸化妆区域的视觉特征相关,身份信息特征与图像的背景、人物的 ID 相关。
1.2 图像预处理
为了让网络能 focus 在人脸的化妆区域,我们对目标图像进行了预处理,预处理的步骤主要有:
为每张目标图像生成掩膜,区分出每张图像中的化妆风格特征和身份信息特征。
提取人脸化妆区域中的纹理。
将目标图像中的人脸化妆区域置灰,加上提取出的掩膜,得到待输入到网络中的图像。
1.3 图像生成
1.3.1 不同ID的生成:
给定目标图像及其预处理好的信息,以及一张参考图像。我们将参考图像上的 makeup style code 提取出来与目标图像中的 identity content code 结合到一起,生成带有参考图像妆容但保留了目标图像身份的新图像。图像 与 网络生成的图像相加的残差结构,对背景的保留有着很大的帮助。
不同 ID 生成新图像对应的损失有:
维持真实性的 GAN loss:
重构出对应 identity content code 以及 makeup style code 的重构损失:
约束背景变化的背景损失:
1.3.2 相同 ID 的重构:
将提供化妆风格的参考图像替换成目标图像,即可将生成图像的过程视为对目标图像的重建。图像的重建可以看作是检验网络是否按照我们设定的功能运行。图像重构对应的损失有:
使用 pixel-level 的 L1 Loss 求目标图像重建损失:
引导妆容信息编码器 focus 在图像中人脸化妆区域的前景损失:
1.4 可控的化妆程度
分别提取目标图像的化妆风格 和参考图像的化妆风格 。使用以下公式生成新的化妆风格:
实验结果
以下实验结果均在在 Makeup Dataset [1] 以及采集自网络的图像进行测试。
2.1 定性指标
我们在部分采集自网络的图像(前两行)以及 Makeup Dataset 上的图像(其余),与 MUNIT 和 BeautyGAN 的生成效果进行比较。
我们网络更多的生成效果如下:
可控的化妆效果:
2.2 定量指标
生成图像的真实度(FID)和多样性(LPIPS)比较。FID 越小代表与真实数据分布之间的距离越小,即真实度越高;LPIPS 越大代表生成图像之间的相似度低,即多样性高。
写在最后
感谢大家看完,这篇文章是我们对人脸自动化妆领域的一次探索,这个项目开始至今也发现了一些问题和收到了一些大佬们的宝贵意见,有些不足我们尚未克服或者尚未发现。欢迎大家对我们的工作提出宝贵的意见,谢谢。
参考文献
[1] BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
???? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
???? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
IJCAI 2020 | 淡妆浓抹总相宜之人脸上妆相关推荐
- IJCAI 2020灭霸式拒稿,AI审稿是否更公平?
来源 | 数据派 THU 编辑 | 文婧 出品 | AI科技大本营(ID:rgznai100) 一.IJCAI 2020灭霸式拒稿引众怒 随着AAAI 2020于2月7日作为2020年人工智能学界的第 ...
- 12.6%!IJCAI 2020接收率断崖式下跌,但还是有华人大佬中了三篇
机器之心报道 参与:泽南.张倩.蛋酱 人工智能顶会 IJCAI 2020 论文接收结果出炉了,但大部分小伙伴却高兴不起来. 北京时间 4 月 20 日晚,IJCAI 2020 接收结果出炉了:在 47 ...
- IJCAI 2020开幕,杰出论文奖、卓越研究奖、约翰·麦卡锡奖等8项大奖公布 | AI日报...
IJCAI 2020开幕,杰出论文奖.卓越研究奖.约翰·麦卡锡奖等8项大奖公布 昨日,因疫情延迟半年已久的 IJCAI 2020大会正会终于迎来万众期待的开幕式.本届大会是第29届国际人工智能联合大会 ...
- 数据分析IJCAI 2020:录用率12.6%,华人占据半壁江山,表征学习、GNN成热点 | AI日报...
智源学者何晓冬参与论文获IEEE信号处理协会最佳论文奖,Yoshua Bengio是合作者之一 近日,智源学者.京东集团技术副总裁何晓冬参与论文<Using Recurrent Neural N ...
- 原创 | IJCAI 2020灭霸式拒稿,AI审稿是否更公平?
一.IJCAI 2020灭霸式拒稿引众怒 随着AAAI 2020于2月7日作为2020年人工智能学界的第一个顶会在美国纽约开幕,人工智能相关领域的研究者们又要为新一年的顶会忙碌了.对于AI界的研究者来 ...
- 「斐波那契」投稿法不好使了:IJCAI 2020出台新规,隐瞒「拒稿重投」者将被一票否决...
点击上方"深度学习技术前沿",选择"星标"公众号 资源干货,第一时间送达 投稿被拒是一件非常令人沮丧的事情,但过来人一般会这样劝你:「没关系,改改再投其他家就好 ...
- IJCAI 2020 | 近期必读的卷积神经网络精选论文
AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权.平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价.专家发现.智能指派.学术地图等科技情报专业化服务.系统2 ...
- 数据分析IJCAI 2020:人工智能女神拥抱认知时代
AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权.平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价.专家发现.智能指派.学术地图等科技情报专业化服务.系统2 ...
- GAN不只会造假:捕获数据中额外显著特征,提高表征学习可解释性,效果超越InfoGAN | IJCAI 2020...
杨净 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 提起GAN,你或许会想起真假难辨的人脸生成. 但其实,GAN的能力并不只局限在图像生成上. 用GAN做无监督表征学习,就可以去做图像分 ...
最新文章
- 【laravel7.x中文文档】Redis
- STM32 GPIO与 EXTI的映射关系
- matlab偶极矩电场强度分布图_1.2.10 电介质在外电场下的极化、电极化强度、电极化率...
- 计算机刚开机时执行的是,电脑刚开机就提示自动关机该怎么办
- 从MVC到前后端分离(REST-个人也认为是目前比较流行和比较好的方式)
- 经典排序算法(二)--桶排序Bucket Sort
- vim编辑器使用详解
- excel处置4000行数据卡_Python自动获取当日所有股票数据
- 异常点检测算法分析与选择
- ubuntu安装laravel,Docker is not running.
- 【Android 安全】DEX 加密 ( Proguard keep 用法 | Proguard 默认混淆结果 | 保留类及成员混淆结果 | 保留注解以及被注解修饰的类/成员/方法 )
- HCNR200和HCNR201在电机驱动和电流回路中的应用
- 2014 acm亚洲区域赛(北京)总结
- js git基本命令
- 2014年网络犯罪与社会安全(中国)论坛
- 测试身体素质健康的软件,索美国家体质健康测试管理软件
- JAVA带你一步一步实现微信公众号开发(一)
- [转]关于信息安全认证CISP与CISSP的对比及分析
- 杨耕身:封杀:很CCTV,很足协
- 基于Flocking算法的多智能体编队matlab仿真
热门文章
- centos redis验证_centos7下安装redis-4.0.2
- ca证书 linux 导入_Linux CA证书服务器搭建
- c3074 无法使用带圆括号的_如何选择路面裂缝贴缝带?
- 人月神话贯彻执行_人月神话阅读笔记01
- db2去除字段内容空格_Vue CLI3.x 配置指南生产环境去除console
- Codeforces Round #383 _python作死系列
- IFRAME jquery 获取document对象
- 《信息存储理论》笔记
- 《锋利的jQuery》学习---基础篇01(持续更新)
- SQL Server XML性能优化(Best Practices)