论文Makeup Like a Superstar： Deep Localized Makeup Transfer Network（2016，妆容迁移，基于数据库匹配）

论文下载地址：https://arxiv.org/pdf/1604.07102.pdf

演示粉底，唇彩，眼影的迁移，模型可扩展到其它化妆品的迁移，可控制妆容的轻薄程度。端到端的深度卷积神经网络（基于数据库匹配的算法）

实现的两个功能：

1. 妆容推荐：

从带妆人脸的参考数据集中选取与当前素颜脸相似的图片，即选取与当前素颜脸深度特征的欧氏距离最小者（已有该方法）【1】。将人脸输入现成的人脸识别模型【1】命名为 VGG-Face，

2. 妆容迁移：

妆容迁移功能应该满足的五个条件：功能齐全、化妆品专用、局部化、自然、可控化妆亮度

提出了Deep Localized Makeup Transfer Network

该网络模型：

建立对应关系（素颜脸的面部与推荐脸的妆容区域）：

粉底、唇彩：人脸解析方法，模型是基于完全卷积网络（FCN），训练集为素颜脸和参考脸，可接受任意大小的输入并输出相应的大小。结果展示：

因为相对于背景与妆容相关的标签更重要，所以使用加权交叉熵作为损失函数：

L’是定义在每个像素上的交叉熵损失，yij和p(xij;Θ)是像素 xij 的真实情况和预测标签,w(yij)是标签权重。权重为使验证集上F1 score最大的权重值。

因为数据库中的脸都为正面，具有对称性，因此加上了对称约束，即在输出每个像素点的类别概率预测值后，将这个值与它的对称点再取均值作为最终输出：

眼影（形状的颜色）：由于素颜脸没有眼影，所以需要仿射变换生成眼影。人脸的眼睛和眉毛的形状不同，所以眼影的形状需要稍微翘起。

眼影迁移：用Sr代替Sb在某一层的深度特征（本文中是conv1-1），左眼眼影迁移的损失函数为：

H、W、C是输入图像的高度、宽度、通道数，

是人脸解析模型conv1-1层的d-dim特征表示，A代表化妆后的人脸，R代表参考脸，S’b和S’r是通过卷积特征掩蔽将Sb 到Sr 从数据层映射到 conv1-1 层来实现的,A(S’b)和R(S’r)是与遮罩S’b和S’r相对于的眼影区域。

粉底、唇彩迁移（颜色和纹理）：损失函数为：

计算conv1-1, conv2-1, conv3-1, conv4-1 和conv5-1层的特征相似度，

第l层中第i和第j个feature map向量化后的结果。

整体妆容迁移公式：

Rl、Rr代表左眼、右眼眼影的loss，Rf表示粉底的loss，Rup、Rlow表示上唇、下唇唇彩的loss，Rs表示结构的loss（计算公式与眼影loss相同，但Sb、Sr中元素值都为1）。妆容的平滑性可以通过

这个公式来约束

论文Makeup Like a Superstar： Deep Localized Makeup Transfer Network（2016，妆容迁移，基于数据库匹配）相关推荐

[IJCAI2016]Makeup Like a Superstar: Deep Localized Makeup Transfer Network
标题:Makeup Like a Superstar: Deep Localized Makeup Transfer Network 链接:https://arxiv.org/pdf/1604.071 ...
【语音增强论文解读 02】DCCRN: Deep Complex Convolution Recurrent Network for Phase-AwareSpeech Enhancement
作者:Yanxin Hu,Yun Liu,Shubo Lv,Mengtao Xing,Shimin Zhang,Yihui Fu,Jian Wu,Bihong Zhang, Lei Xie 文末附论文 ...
读美妆论文AN AUTOMATIC FRAMEWORK FOR EXAMPLE-BASED VIRTUAL MAKEUP
论文名字:AN AUTOMATIC FRAMEWORK FOR EXAMPLE-BASED VIRTUAL MAKEUP 源自英特尔中国研究所 :http://tech.hqew.com/news_3 ...
【论文解读】CVPR 2021 妆容迁移论文解读Spatially-invariant Style-codes Controlled Makeup Transfer
[论文解读]CVPR 2021 妆容迁移论文解读 Spatially-invariant Style-codes Controlled Makeup Transfer 摘要方法特点实现方法公式 ...
人像美妆---妆容迁移算法研究(Makeup transfer)
对于人像美妆算法,现在的美妆相机.玩美彩妆之类的app已经做的比较成熟了,但是具体算法,基本网络上是杳无可查,今天本人介绍一种自动的人像美妆算法----(Makeup Transfer)妆容迁移妆容 ...
＜CVPR2020 Oral＞AI妆容迁移: Pose-Robust Spatial-Aware GAN for Customizable Makeup Transfer
写在前面: 跟朋友讨论的时候,发现妆容迁移也有挺大的市场,看到一篇关于这个的介绍文,学习一下- 论文地址: https://arxiv.org/pdf/1909.06956.pdf 这篇论文是CVPR ...
【推荐系统论文精读系列】(八)--Deep Crossing：Web-Scale Modeling without Manually Crafted Combinatorial Features
文章目录一.摘要二.介绍三.相关工作四.搜索广告五.特征表示 5.1 独立特征 5.2 组合特征六.模型架构 6.1 Embedding层 6.2 Stacking层 6.3 Residu ...
【论文阅读/翻译笔记】Deep Snake for Real-Time Instance Segmentation
原论文标题:Deep Snake for Real-Time Instance Segmentation 原论文链接:https://arxiv.org/abs/2001.01629 翻译:张欢荣用 ...
论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications
论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications 论文搜索 ...

论文Makeup Like a Superstar： Deep Localized Makeup Transfer Network（2016，妆容迁移，基于数据库匹配）

论文Makeup Like a Superstar： Deep Localized Makeup Transfer Network（2016，妆容迁移，基于数据库匹配）相关推荐

最新文章

热门文章