One-shot Face Reenactment（BMVC19）

2024-04-08 07:02:43

3 Approach

给定source face xsx_sxs，包含了pose guidance，以及target face xtx_txt，包含了reference appearance，学习的目标是生成一幅图像包含xsx_sxs的pose/expression，以及xtx_txt的identity

3.1 Disentangle-and-Compose Framework

Shape Encoder EEE
Shape Encoder EEE的网络结构和文献[34, 35]中的boundary encoder一模一样，将人脸图像编码为一个15通道的heatmap，分别对应人脸不同的部分，然后涂上不同的颜色，得到face parsing maps

此外，增加额外的2个gaze channels，

Shape Encoder EEE在WFLW数据库上进行预训练，gaze channels在EOTT数据库上进行预训练，预训练完成后，整个Shape Encoder EEE被frozen

Appearance Auto-Encoder FFF
Appearance Auto-Encoder FFF包含Encoder部分以及Decoder部分

FFF需要学习人脸图像中的identity information和local facial details

FFF的Decoder负责重构人脸图像，为了保证生成图像中的identity，将Decoder过程中的feature maps拼接到Semantically Adaptive Decoder DDD中（Figure 3中的橘黄色箭头）

为了保证FFF不受shape的影响，……

Semantically Adaptive Decoder DDD
原本可以采用U-Net的结构，现在使用了multi-scales SPADE blocks，就可以去掉U-Net的Encoder部分

3.2 FusionNet

目前为止的模型在生成facial details（如胡子、皱纹）仍然存在问题，而warping-based methods生成facial details的效果比较好，因此提出一个FusionNet结构，如Figure 4所示，接收生成图像以及warping的结果，生成一个mask用于融合两幅图像

3.3 Learning

Ltotal=Lreenact+λLappreconsLreenact=αrLperceptual+αgLGAN+αiLid(1)\begin{aligned} L_{total}&=L_{reenact}+\lambda L_{app_recons} \\ L_{reenact}&=\alpha_rL_{perceptual}+\alpha_gL_{GAN}+\alpha_iL_{id} \qquad(1) \end{aligned} LtotalLreenact=Lreenact+λLapprecons=αrLperceptual+αgLGAN+αiLid(1)

One-shot Face Reenactment（BMVC19）相关推荐

阅读笔记：Single Shot Multibox Detector（SSD）
--为什么会阅读这篇论文?原因很简单:SSD比Faster R-CNN准.比YOLO快. --论文出处: UNC Chapel Hill(北卡罗来纳大学教堂山分校) 的 Wei Liu 新作 --论文 ...
Linux kernel中断子系统之（五）：驱动申请中断API【转】
转自:http://www.wowotech.net/linux_kenrel/request_threaded_irq.html 一.前言本文主要的议题是作为一个普通的驱动工程师,在撰写自己负责的 ...
Single Shot Multibox Detection (SSD)实战（下）
Single Shot Multibox Detection (SSD)实战(下) Training 将逐步解释如何训练SSD模型进行目标检测. 2.1. Data Reading and Initi ...
Single Shot Multibox Detection (SSD)实战（上）
Single Shot Multibox Detection (SSD)实战(上) 介绍了边界框.锚框.多尺度对象检测和数据集.现在,我们将利用这些背景知识构建一个目标检测模型:单次多盒检测(SSD) ...
SSD+caffe︱Single Shot MultiBox Detector 目标检测+fine-tuning（二）
承接上一篇SSD介绍:SSD+caffe︱Single Shot MultiBox Detector 目标检测(一) 如果自己要训练SSD模型呢,关键的就是LMDB格式生成,从官方教程weiliu89 ...
SSD+caffe︱Single Shot MultiBox Detector 目标检测（一）
作者的思路就是Faster R-CNN+YOLO,利用YOLO的思路和Faster R-CNN的anchor box的思想. . 0 导读 (本节来源于BOT大赛嘉宾问答环节 ) SSD 这里的设计就 ...
PyramidBox：A Context-assisted Single Shot Face Detector（论文阅读笔记）
论文:PyramidBox: A Context-assisted Single Shot Face Detector 原文链接:https://arxiv.org/abs/1803.07737?co ...
长篇自动驾驶技术综述论文（上）
长篇自动驾驶技术综述论文(上) A Survey of Autonomous Driving: Common Practices and Emerging Technologies Ekim Yurt ...
目标检测中特征融合技术（YOLO v4）（上）
目标检测中特征融合技术(YOLO v4)(上) 论文链接:https://arxiv.org/abs/1612.03144 Feature Pyramid Networks for Object De ...
CVPR 2020目标跟踪多篇开源论文（下）
CVPR 2020目标跟踪多篇开源论文(下) Cooling-Shrinking Attack: Blinding the Tracker with Imperceptible Noises 作者团队 ...

最新文章

热门文章