2018FSNet: An Identity-Aware Generative Model for Image-based Face Swapping论文阅读笔记

论文原文及地址:FSNet: An Identity-Aware Generative Model for Image-based Face Swapping

摘要:

本文提出了基于图像的人脸交换的深层生成模型FSNet。传统上，人脸交换方法是基于三维变形模型(3DMMS)，在不同的两幅图像中，在估计的三维(3D)几何图形之间替换面部纹理。然而，使用3DMMS估计三维几何形状以及不同的照明条件仍然是一项困难的任务。 本文用一个潜在变量表示人脸区域，将该变量被分配深度神经网络(DNN)，而不是面部纹理。 所提出的DNN使用人脸区域的潜在变量和非面区域的另一图像合成人脸交换图像。所提出的方法不需要适合3DMM；此外，它只通过向所提出的网络提供两个人脸图像来执行人脸交换。因此，我们基于DNN的人脸交换比以前的方法更好地挑战不同人脸方向和照明条件的输入。通过几个实验，我们证明了所提出的方法比最先进的方法更稳定地进行人脸交换，并且其结果与该方法是兼容的.

关键字: 人脸交换,卷积神经网络,深度生成模型

1.引言

由于社交网络服务和照片渲染软件的发展，人脸图像编辑越来越普遍。为了满足这种创建更有吸引力的人脸图像的潜在需求，已经对一系列应用进行了许多研究，包括人脸图像分析[1-4]和操作[5-9]在计算机视觉和图形社区中的应用。在这种应用中，面部交换是一种重要的技术，因为它具有广泛的应用，如集体照片合成[5]、虚拟发型拟合[9]、隐私保护[6,10,11]和机器学习的数据增强[12-14]。
如其名称所示，面交换将目标图像的面区域替换为源图像中的面区域。传统的方法[5,15]使用三维可变形模型(3DMMS)估计人脸几何形状及其相应的纹理。随后，使用估计的纹理坐标交换源和目标图像的纹理。最后，利用从目标图像估计的照明条件，对替换后的人脸纹理进行了重新渲染。然而，这些方法在实际中容易在估计人脸几何形状或照明条件方面失败。不准确的估计通常会引起明显的伪影，因为人类的眼睛可以很好地检测到这些几何形状和照明条件的轻微不匹配。
与上述方法相比，最近的几项研究将深度神经网络(DNNs)应用于人脸交换。 Bao等人 [16]提出了一种使用DNN的条件图像生成技术，称为CVAE-GAN。他们通过考虑人脸身份作为image conditioners来进行人脸交换。在“FakeApp”[17]中使用了类似的技术，这是一种易于使用的应用软件，使用DNN进行基于图像的人脸交换。 Korshunova等人 [11]认为人脸身份是神经风格转移[18]中的艺术风格，并通过使用一个人的很多张图像对预先训练的网络进行微调来进行人脸交换。 虽然这些方法有助于使用深度学习技术进行面部交换，但它们有一个共同的问题，即用户必须准备个人的多个输入图像。同时，Natsume等人 [19]提出了一种只使用单源图像和单目标图像的人脸图像编辑DNN。即使他们的方法广泛应用，包括面部交换，但是他们的面部交换结果的头发区域不再与原始图像中的相同。
为了解决上述问题，我们提出了FSNet，一种新的基于图像的人脸交换DNN。 该方法将人脸外观作为一个与人脸几何形状和非人脸区域的外观无关的潜在变量，包括发型和背景。将两个输入图像的两个人脸外观的潜在变量交换，并与对应图像的非人脸部分的潜在变量相结合。一旦使用大规模人脸图像数据集对FSNet网络进行训练，FSNet不需要任何额外的微调，只使用单个源图像和单个目标图像进行人脸交换。 如图1所示。在源图像中，人脸被适当地交换，因为人脸身份被很好地保存，并且与目标图像的非人脸区域自然地组成。

基于图像的人脸交换的结果。在此图中，左列中目标图像的人脸区域被替换为顶部行中源图像的人脸。补充文件为其他输入面提供附加结果。

在本研究中，我们使用许多图像评估指标来评估人脸交换结果，并证明FSNet比最先进的方法实现了更稳定的人脸交换。除了稳定性外，FSNet结果的质量与其方法兼容。 FSNet的技术贡献概述如下：
1. 它是一种新的基于图像的人脸交换DNN，只使用单个源和单个目标图像，不需要任何额外的微调。
2. 在面部交换时，它很好地保留了源图像中的面部身份以及目标图像中的发型和背景区域的外观。
3. 它执行高质量的脸交换，即使是典型的挑战输入，不同的脸方向和不同的照明条件。

2.相关工作

人脸交换已经被研究了一系列的应用，包括集体照片合成[5]，虚拟发型拟合[9]，隐私保护[6,10,11]，以及大型机器学习[14]的数据增强。 几项研究[7,10]只取代了脸的部分，如眼睛、鼻子和嘴之间的图像，而不是交换整张脸。 一种流行的人脸交换方法是基于3DMM[5,15]。将3DMM拟合到目标面，得到人脸几何形状、纹理映射和照明条件[1,2]。一个面部交换外观是通过更换面部纹理和随后使用估计的照明条件重新渲染面部外观产生的。[3D方法换脸]
这些方法的主要缺点是难以从单个图像中准确估计三维(3D)人脸几何形状和照明条件。错误估计通常会引起明显的视觉伪影。 为了缓解这个问题，Bitouk等人。 [6]提出了一种不使用3DMM的基于图像的人脸交换。 为了避免对人脸几何形状的估计，他们利用了一个大规模的人脸数据库。他们的系统搜索一个目标图像，其布局类似于源图像。然后，利用边界感知的图像合成方法交换两幅相似图像的这些面部区域。[简单交换脸部的像素].
Kemelmacher-Shlizerman[9]最近提出了一种更复杂的方法。她精心设计了一个手工制作的特征向量来表示人脸图像的外观，并成功地提高了搜索相似人脸的精度。然而，这些方法不允许用户同时选择源图像和目标图像；因此，它们不适用于任意的人脸图像对。
最近的几项研究将深度神经网络应用于基于图像的人脸交换。 Bao等人。 [16]表明，它们的条件图像生成技术可以通过用标识向量对生成的图像进行调理来改变人脸身份。 同时，Korshunova等人。 [11]将人脸身份作为原始风格转换中的艺术风格，应用神经风格转换[18]进行人脸交换。 然而，这些最近的方法仍然存在问题。他们需要至少几十张个人的图像来获得一个面部交换的图像。收集许多图像是可能的，尽管对大多数非名人来说是不合理的。[利用风格迁移进行人脸交换]
最近的另一项研究[20]提出了一种保持身份的GAN，用于在两个人脸图像之间传输图像外观。虽然本研究的目的接近面部交换，但它不保留非面部区域的外观，包括发型和背景。基于DNN的图像完成[21,22]的几项研究已经通过将输入图像的部分填充到它们的DNN来演示人脸外观操作。然而，用户很难估计这些方法的结果，因为它们只填充用户指定的区域，使得完成的结果模仿训练数据中的图像。 [没懂啥意思]

3.FSNet：一种人脸交换的生成模型

FSNet的体系结构如图 2.所示,网络被分成两个部分，每个部分执行两个不同任务中的一个。 第一部分 2(a)，即图中的编解码网络。从源图像中分离人脸外观作为潜在变量。该部分的体系结构是基于变分自动编码器[23](VAE)，从网络的中间层可以得到潜在变量。第二部分2(b)，即图中的生成器网络。合成新的人脸部分，使其适合目标图像的非人脸部分。该部分的体系结构是基于U-Net的[24]，它通过将潜在变量与网络中间层提供的特征映射连接起来来合成人脸部分。在下面的小节中，我们首先详细介绍了两个部分网络；随后，我们描述了一个用于训练网络的图像数据集。此外，我们在补充文件中提供了FSNet的详细网络体系结构。本文件中使用的符号也在补充文件中总结。

3.1编码器-解码器网络

训练FSNet需要采样全脸图像xθ和三个中间图像，如图2所示, 在这里，θ∈{s，t}，xs和xt表示一个源图像和一个目标图像。其中三个中间图像，即面罩Mθ-f，人脸部分图像xθ-f，地标图像xθ-l，将与编解码器网络的输出进行比较。[就是说数据集中的每一张人脸图像都有与对应的三张图像,即面罩图像,地标图像和前景面罩图像,而这些图像就是我们为训练准备的]
如图2(a)所示，编解码器网络输出面罩图像M’θ-f，人脸部分图像x’θ-f，地标图像x’θ-l，非人脸部分图像x’θ-f˜。 在编解码器网络中，全脸图像xθ首先由两个不同的编码器FEF和FEL编码。 遵循标准VAE，这些编码器输出相应标准正态分布的均值和标准差。随后，从以下分布中采样zθ-f和zθ-l的潜在变量:
其中µθ和σ2θ是Zθ的均值和方差。 三个解码器FDM、FDF和FDL分别重建面罩图像M'θ-f、人脸图像x'θ-f和地标图像x'θ-l：
为了只在zθ-f中编码与几何无关的信息，我们将zθ-f和zθ-l输入到FDF和FDM，类似于FEF。

3.2 生成器网络

生成器网络G的架构基于U-Net[24]，如图所 2(b)示。与最初的U-Net不同，生成器网络接收潜在变量，并将它们与网络中间层给出的特征映射连接起来。此外，生成器网络接收非面部图像x't-f˜，而不是全脸图像Xt。 这里，符号表示像素相乘，M˜表示掩码M的反转。
为了稳定训练过程，我们在训练网络时，在非面部图像中加入标准差σ=0.05的高斯噪声。 在生成器网络的中间层，潜在变量zs-f和zt-l被平铺并与特征映射连接。随后，连接的特征映射被馈送到U-Net结构的后一部分。 最后，我们可以得到一个面部交换图像x’st作为生成器网络的输出。 我们表示生成器网络的运行情况如下：

当两个相同的图像xs和xt(s=t)被输入到所提出的网络中时，生成器网络应该再现输入的全面图像xs(=xt)。我们将重建图像表示为x’s。值得注意的是，蒙面图像x’t-f˜是生成器网络的输入之一，仅使用全面图像xt由编解码器网络计算。因此，人脸交换只能用源和目标图像本身来执行，用户不需要准备训练中使用的中间图像。[这一步就是将同一幅图当作源图像和目标图像进行操作]

图2. FSNet的网络架构。该网络由两个部分网络组成，即(A)编解码器网络和(B)生成器网络。编码器-解码器网络获得一个与非面部的人脸几何形状和外观无关的人脸外观的潜在变量。生成器网络综合了另一幅图像的潜在变量和非面部分的人脸交换结果。

3.3训练

所提出的网络的训练类似于VAE-GAN[25]。换句话说，这两个部分网络分别接受VAE目标和GAN目标的训练。此外，还对网络进行了身份丢失训练，以保持人脸交换结果中的人脸身份。我们使用三重损失[26]定义身份丢失。因此，我们对由锚样本xs1、正样本xs2和负样本xt组成的图像进行了三重采样。源图像作为锚样本和正样本，目标图像作为负样本。当我们评估VAE和GAN目标时，忽略了这三幅图像中的不同身份。
VAE目标：
对于三个输出M’θ-f、x’θ-f和x’θ-l，我们使用训练数据中相应的地面真相图像定义重建损失。 我们评估了面罩和地标图像的交叉熵损失和面部部分图像的L1损失：
其中LCE表示交叉熵损失的函数。此外，我们还定义了全面图像xθ与其相应的重建x'θ之间的另一个重建损失Lrecθ。 为了对前景区域中的像素，即人脸和头发区域施加更多的重建损失，我们用前景掩码Mθ-FG定义了损失如下：
在我们的实现中，我们使用参数β=0.5来将背景中的损失减半。为了评估编码器给出的均值和标准差，我们使用了一个潜在的分类器，如α-GAN[27]，而不是评估标准VAE中的Kullback-Leibler损失。设Cω是潜在分类器，z∼N（0，1）是用标准正态分布采样的随机向量。因此，我们可以定义潜在的分类损失如下：[没看懂这一步]
同样，Llatθ-M和Llatθ-l定义为zθ-M和zθ-l。

GAN目标

作为标准GAN，编解码和生成器网络都是用多个判别器进行对抗性训练的。 为了评价真实图像和合成图像，我们使用了两个鉴别器，即全局鉴别器Dg和局部鉴别器Dp。 全局鉴别器区分图像是真实样本还是合成图像。 局部鉴别器，最初作为PatchGAN[28]的一部分引入，区分图像的局部贴片是来自真实样本还是合成图像。 除了xθ和x’θ外[全面图像xθ与其相应的重建x'θ]我们还使用正态随机向量代替zθ-f和zθ-l合成随机人脸。让ˆx’θ是这样一个随机的人脸图像，我们定义了全局和补丁对抗性损失Ladv-gθ和Ladv-pθ如下：

身份损失
在我们在实验中使用的CelebA数据集中，身份标签被分配给所有图像。评估合成图像的标识的一个简单方法是训练标识分类器。然而，两个不同的人之间的人脸通常是相似的。我们发现，这种简单的方法训练是不稳定的，很容易被困在局部最小值中。或者，我们使用三重态损失[26]来评估两个人脸图像中身份的相似性。 三重态损失定义为三重图像样本，即锚、正和负样本。 这些样本首先被编码到特征向量；随后，对锚和正样本以及锚和负样本计算特征向量的距离。三重态损失被定义为扩大这些距离之间的差异。为了训练网络，我们从三个输入图像xs1、xs2和xt中生成两个面交换结果x’s1t and x’s2t. 三重态损失定义为三重态{xs1、xs2、xt}、{x’s1t、xs1、xt)}和{x’s2t、xs2、xt}，其中每个三重态中的图像表示{锚、正、负}样本。对于三重态{xs1，xs2，xt}，使用特征提取器FEid定义三重态损失，如原始研究[26]：
在我们的实现中，我们将参数设置为α1=1.0，α2为0.1，α3为0.5。 为了规范人脸图像中的颜色平衡，我们从图像中减去平均像素颜色，并将其除以像素颜色的标准差，然后将图像馈送到FEid。
超参数
训练FSNet的总体损失函数由上述损失函数的加权和定义：
在这个方程中，我们简单地将L写为VAE和GAN目标的S1、S2和t的相应损失的平均值，Lid作为标识损失的所有三重态损失的总和。我们经验性地确定了加权因子λrecf=λrecM=4000，λreλrecl=2000，λlat，30，λadv-g=20，λadv-p和30，和id100。在我们的实验中，使用ADAM优化器进行小批训练，使损失函数最小化[29]初始学习速率为0.0002，β1=0.5，β2为0.999。一个小批包含每个xs1、xs2和xt的20个图像；因此，小批的大小为60。

3.4 数据集

对于原始的全脸图像，我们首先使用Dlib[30][这是一个通常使用的机器学习库。] 提取68个面部地标(图 3(b)凸壳是从41个地标计算出来的，它们对应于眼睛、鼻子和嘴巴，它们在图 3(b)中用蓝色圆圈表示。凸壳被拉伸以获得面罩(图3©)。凸壳沿水平方向拉伸1.3倍，沿垂直方向拉伸1.4倍。
随后，我们将面罩扩大3%的图像宽度，以确保掩模板在面部轮廓内，并将眉毛包括在掩模内。面部部分图像(图3d) 通过将面罩应用于输入图像获得。我们在眼睛上使用地标，而不是眉毛，因为眉毛经常被刘海遮住。 与眉毛相比，眼睛上的地标不太可能被隐藏，面具可以用它们来更合适地定义。
地标图像图3(e)包括面部区域内的5个地标和面部轮廓上的17个地标。前两个内部地标对应于眼睛中心位置，并通过平均眼睛地标的位置来计算。中间的那个对应于鼻子的位置，用鼻尖上的地标来表示。两个底部对应嘴巴位置，用嘴巴两端的两个地标表示。在原来的68个地标中，17个轮廓地标用人脸轮廓上的那些来表示。这22个地标在地标图像上作为圆圈，半径为图像宽度的3%, 最后，前景掩码(图3(f)使用最先进的语义分割方法PSPNet[31]检测。标记为“人”的像素被用作前景掩码。
所有这些图像都是从原始图像的178个×218个像素区域裁剪成178个×178个像素的正方形，其左上角为（0，20）。我们使用裁剪后的图像调整到128×128。在处理CelebA中的图像时，我们可以正确地提取202599幅图像中的195361幅图像的面部地标。在这些195361幅图像中，我们使用了180000幅图像进行训练，其他15361幅图像进行测试。

从CelebA[3]中的每个图像中的数据集准备。为了减少数据集的大小，我们在数据集中只包括(A)、©、(E)和(F)，在训练FSNet时计算其他中间图像。

4、结果

本节介绍了我们对各种人脸图像的人脸交换结果。该方法是用Python中的TensorFlow实现的，并在IntelXeon3.6GHzE5-1650V4CPU、NVIDIA GeForceGTXTITANX GPU和64GB RAM的计算机上执行。我们训练了拟议的网络超过18万个整体步骤。在单个GPU上训练需要大约72小时的时间。这里的所有结果都是使用测试集生成的而不是训练集。
图1显示了几个人脸图像的人脸交换结果。在此图中，源图像在顶部行，目标图像在左列。如图4所示，对于这样的各种输入，适当地执行人脸交换。此外，我们还用几个具有挑战性的案例对输入图像进行了测试，以证明该方法的鲁棒性。首先，我们在不同人脸方向的图像之间交换人脸。结果如图4. 在这个图中，一个源图像或目标图像显示一个正面，另一个显示一个侧面。如图所示，包括其身份在内的人脸外观被适当地转移到目标图像上，尽管人脸的方向存在显著差异。
接下来，我们测试了不同照明条件下的图像。 如图所示。其中一个源图像或目标图像显示一个均匀照明的脸，，而另一张则显示从侧面照亮的脸。当阴影面被转移到均匀照明的面部时，阴影将适当地从面部移除。此外，当均匀照明的人脸被转移到阴影面时，结果的总体外观是自然的，而目标图像中的阴影不一定在结果中被观察到。因此，即使在这种具有挑战性的情况下，该方法也实现了人脸交换。

图4. 不同人脸方向的图像之间的人脸交换。左组显示从正面到侧面的交换结果，右组显示从侧面到正面的交换结果

不同光照条件下图像之间的人脸交换。左组显示从阴影面到均匀照明面的交换结果，右组显示从均匀照明面到阴影面的交换结果。
我们还使用所提出的方法通过交换同一个人的人脸来评估保持人脸身份的能力。结果如图 6. 在此图中，每组图像包括两个用于源图像的输入图像，另两个用于目标图像。所有这四幅图像都显示了一个人的脸。如图所示，每组中的第二行和第三行几乎相同。这些结果表明，所提出的网络可以适当地保留输入图像中的面部身份。

图6.在同一个人的图像之间交换脸。每组中的四幅图像是个人的图像。
为了定量地评价所提出的方法，并与以往的方法进行比较，我们使用四种不同的度量进行了两个实验，如表1所示。其中两个指标用于测量身份保存能力，另两个指标用于测量输出图像质量。在这些实验中，以前的两项研究：VAE-GAN[25]和α-GAN[27]被用作基线。虽然这些研究最初不是为了交换脸，但我们分三步进行了面部交换。首先，我们计算的面罩类似于我们的数据集合成。接下来，将掩模中源图像的人脸区域复制并粘贴到目标图像上，使两个眼睛位置对齐。最后，将整个图像外观通过馈送到每个网络来修复。除了这些基线方法外，我们还将所提出的方法与Nirkin等人提出的基于3DMM的最先进方法进行了比较。 [15]。在每个实验中，我们随机采样了1000个图像对。
在第一个实验中，我们在同一个人的两个不同图像之间交换了人脸。随后，我们计算了输入和交换图像之间的绝对差值和MSSSIM[32]。结果在表1的第3第4列。
在第二个实验中，用每种方法交换两个不同的人的脸。为了评估人脸交换后身份是如何保存的，我们使用OpenFace【这是一种开源的人脸特征提取器】[33]计算了输入图像和换脸结果图像的两个特征向量平方欧几里德距离。此外，我们计算了初始分数[34]以衡量我们的脸交换方法的能力，当应用于各种各样的个人。结果见表1第五列和第六列。
从这些实验中，Nirkin等人。 [15]展示了表1中所有度量的最佳分数，所提出的方法与之密切相关。然而，Nirkin等人的方法有时无法将3DMM拟合到其中一个源或目标图像，并且只能为大约90%的输入对生成结果。 同时，该方法和其他基线方法可以生成所有输入对的结果。因此，Nirkin等人的方法的鲁棒性在实践中可能存在问题。我们还用FSNet计算了Nirkin等人的方法无法生成结果的图像的每个分数【Nirkin等人的方法无法对某些图像进行换脸】。底部行中的分数表明，它们中的每一个几乎与所有样本图像计算的分数相同。这些结果表明，该方法是有利的，因为它可以很好地为任意对输入图像生成高质量的结果。
为了与Nirkin等人的方法进行比较，我们在图中给出了他们的方法和我们的FSNet的典型失败案例。 7. 在这个图中，前两个案例显示了Nirkin等人方法的局限性，最后一个案例是FSNet。首先，他们的方法和其他基于3DMM的方法往往证明了人脸区域的错误分割。而Nirkin等人提出了人脸区域的遮挡感知分割，其精度仍然有限。 在他们的结果中。 7(a)，目标人的左眼留在我们的换脸结果上。所提出的方法和其他基于图像的使用DNN的方法不需要这样一个脆弱的分割过程。其次，从单个图像中估计照明条件是一项具有挑战性的任务。 基于3DMM的方法在光线估计方面出错了，如图所示 7(b)，Nirkin等人的结果中的面部颜色。出乎意料地减弱了，睫毛周围的细节变得模糊了。但是基于DNN的方法，包括FSNet，不受这种照明条件的强烈影响，如图所示 5。 但是，FSNet当部分人脸区域被遮挡时，该方法不能正确地交换人脸。 如图所示。 7©在换脸结果中，相机和左手在脸前丢失。这是因为在训练数据集中，只有有限数量的图像样本可用于这种闭塞的人脸。最近，有几种方法[15,35]通过人为地向图像添加随机障碍来增强图像数据集，并成功地将被这些障碍遮挡的人脸区域分隔开来。虽然这种方法可能适用于人脸图像合成，但由于其适用性不确定，我们将把它留给今后的工作。 值得注意的是，所提出的方法可以考虑被头发遮挡的脸，如图所示。 7(a)因为这种发型已列入训练数据。

5、结论

提出了一种基于图像的人脸交换的深层生成模型FSNet。这个网络的编解码器部分将人脸外观分解为一个潜在变量，这个潜在变量和人脸几何形状与非人脸外观无关。潜在变量与目标图像的非面部内容一起组合，并通过生成网络生成一个面部交换图像。与以前的方法相比，我们的方法既没有使用3DMM，也没有使用任何额外的微调。 它只对单个源图像和单个目标图像进行人脸交换。通过多次实验，我们证明了该方法即使对于具有不同人脸方向和照明条件的几个具有挑战性的输入，也能进行鲁棒的人脸交换。 此外，结果的质量与最先进的方法相当[15]并且执行的人脸交换更稳定。对于未来的工作，我们希望通过在图像生成中引入时间相干性来探索它对电影的适用性。
。

问题1:

两个不同的编码器FEf和FEl分别是干嘛的,为什么要弄2个编码器?
图没搞懂

2018FSNet: An Identity-Aware Generative Model for Image-based Face Swapping论文阅读笔记相关推荐

A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising 论文阅读笔记
相机拍摄更亮的照片的三种方法:大光圈,长曝光,闪光灯:其中大光圈导致小景深并且无法在智能手机中使用:长曝光在动态场景或者由于相机的抖动会导致模糊:闪光灯导致变色,并且只对近景有效: 还有一种方法是bu ...
论文阅读笔记——A deep tree-based model for software defect prediction
本论文相关内容论文下载地址--Web Of Science 论文中文翻译--A deep tree-based model for software defect prediction 论文阅读笔记 ...
[论文阅读笔记12]An Effective Transition-based Model for Discontinuous NER
一, 题目 <An Effective Transition-based Model for Discontinuous NER> 论文:An Effective Transition-b ...
论文阅读笔记：Selecting Informative Contexts Improves Language Model Fine-tuning
Selecting Informative Contexts Improves Language Model Fine-tuning** 下载地址:https://arxiv.org/pdf/2005 ...
《Linear Graph Convolutional Model for Diagnosing Brain Disorders Zarina》阅读笔记
<Linear Graph Convolutional Model for Diagnosing Brain Disorders Zarina> 前言一.简要介绍二.实验 1.模型 2 ...
【论文笔记】Generative Adversarial Frontal View to Bird View Synthesis - 论文阅读笔记
[论文笔记]Generative Adversarial Frontal View to Bird View Synthesis 这篇论文是一篇发表在3DV会议上的文章,提出了基于GAN进行视角迁移与 ...
Face Swapping under Large Pose Variations: a 3D Model Based Approach论文阅读笔记
题目:Face Swapping under Large Pose Variations: a 3D Model Based Approach 翻译:大姿态变化下的人脸交换:一种基于三维模型的方法摘 ...
DPLink: User Identity Linkage via Deep Neural Network From Heterogeneous Mobility Data 阅读笔记
DPLink: User Identity Linkage via Deep Neural Network From Heterogeneous Mobility Data WWW2019paper ...
VideoQA论文阅读笔记——Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering
论文:Heterogeneous Memory Enhanced Multimodal Attention Model for VQA 来源:CVPR2019 作者:京东研究院源码: Github ...

2018FSNet: An Identity-Aware Generative Model for Image-based Face Swapping论文阅读笔记

论文原文及地址:FSNet: An Identity-Aware Generative Model for Image-based Face Swapping

摘要:

关键字: 人脸交换,卷积神经网络,深度生成模型

1.引言

2.相关工作

3.FSNet：一种人脸交换的生成模型

3.1编码器-解码器网络

3.2 生成器网络

3.3训练

3.4 数据集

4、结果

5、结论

2018FSNet: An Identity-Aware Generative Model for Image-based Face Swapping论文阅读笔记相关推荐

最新文章

热门文章