Copy and Paste GAN: Face Hallucination from Shaded Thumbnails
Copy and Paste GAN: Face Hallucination from Shaded Thumbnails 2020 CVPR
- 1、引言
- 2、网络结构
- 3、损失函数
- 4、实验结果
- 与最新方法的比较
- 消融分析
题目:复制和粘贴GAN:来自着色缩略图的面部幻觉
1、引言
主要思想
现有的基于卷积神经网络(CNN)的人脸超分方法在正常光照条件下的低分辨率人脸上取得了令人印象深刻的效果。然而,当在低照度或非均匀光照条件下捕捉LR脸时,它们的性能会显著降低。因此提出了一种复制粘贴生成对抗性网络(CPGAN)来恢复真实的高分辨率人脸图像,同时补偿低照度和不均匀光照的方法。为此,我们在CPGAN中开发了两个关键组件:内部和外部复制粘贴网络(CPnet)。具体地说,我们的内部CPnet利用驻留在输入图像中的面部信息来增强面部细节;而我们的外部CPnet利用外部HR面部进行照明补偿。因此,开发了一种新的照明补偿损耗,以有效地从外部引导的人脸图像中捕获照明。此外,我们的方法以从粗到细的方式交替地偏移光照和对面部细节进行上采样,从而缓解了LR输入和外部HR输入之间的对应模糊性。大量实验表明,该方法在均匀光照条件下显示了真实的HR人脸图像,并且在定性和定量上都优于最先进的方法。
本文贡献
1、提出了第一个端到端的解决人脸幻觉和光照补偿问题的CPGAN框架,该框架在传统的人脸幻觉损失和新的光照补偿损失的基础上进行了优化。
2、引入内部CPnet对人脸细节进行增强,粗略归一化光照,辅助后续的上采样和光照补偿。
3、提出了一种外部CPnet,通过从外部HR人脸学习光照来进行光照补偿。通过这种方式,我们能够明确地学习光照,而不需要具有相同光照条件的数据集。
4、提出了一种新的数据增强方法–随机自适应实例归一化(RAIN),以生成足够的NI-LR(不均匀低分辨率)和UI-HR(均匀高分辨率)人脸图像对。
背景:现有的基于卷积神经网络(CNN)的人脸超分方法在低照度或非均匀光照条件下捕捉LR脸时,它们的性能会显著降低。
方法:提出了一种复制粘贴生成对抗性网络(CPGAN)包含两个关键组件:内部CPnet利用驻留在输入图像中的面部信息来增强面部细节;外部CPnet利用外部HR面部进行照明补偿。
结论:大量实验表明,该方法在均匀光照条件下显示了真实的HR人脸图像,并且在定性和定量上都优于最先进的方法。
Motivation of CPGAN。引入内部和外部CPnet以模拟克隆戳记工具。内部CPnet复制良好的细节,将其粘贴到阴影区域。外部CPnet在上采样过程期间使用来自UI-HR脸部数据集的外部引导脸部进一步修饰脸部,以补偿最终HR脸部中的不均匀照明。
2、网络结构
为了减少光照不均匀造成的NI-LR到UI-HR映射的模糊性,我们提出了一种CPGAN框架,该框架以NI-LR人脸作为输入,以光照正常的外部HR人脸为引导,实现对UI-HR人脸的幻觉。在CPGAN中,我们开发了复制粘贴网络(CPnet),根据输入图像的语义空间分布,灵活地对均匀光照特征进行“复制”和“粘贴”,从而对输入图像的光照进行补偿。采用鉴别器强制生成的UI-HR人脸位于真实人脸图像的流形上。整个网络结构如图1所示。
CPGAN由以下组件组成:内部CPnet、外部CPnet、空间变压器网络(STNS)、反卷积层、堆叠式沙漏模块和鉴别器网络。
图1 建议的CPGAN框架。紫色块中的上、下对称层共享相同的权重。
输入的NI-LR图像首先通过内部CPnet来增强面部细节,并通过利用阴影面部信息来粗略地归一化光照。然后,外部CPnet在上采样过程中求助于外部引导的UI-HR脸以进行进一步的照明补偿。由于输入图像可能会发生错位,如平面内旋转、平移和比例变化,我们使用STNs来补偿错位,如图1中的黄色方块所示。同时,我们采用堆叠沙漏网络来估计重要的人脸标志性热图以保持人脸结构。
图2显示了内部CPnet的体系结构,它由输入卷积层、内部复制模块、粘贴模块以及跳过连接组成。内部复制模块首先采用了残差块和通道注意(CA)模块来增强高频特征。然后,引入我们的复制模块(图3(b))来“复制”所需的内部均匀照明特征以进行粗略补偿。内部复制模块的功能类似于将高频特征“复制”到低频部分的操作。
图2 内部CPnet的架构。本文将通道注意模块的输出特征作为输入特征和引导特征。这里的粘贴块表示加法运算。
外部CPnet的网络如图3(a)所示,其核心组件是复制和粘贴块。图3(b)执行复制块的“复制”过程。引导特征FG和输入特征FCARE分别从外部引导UI-HR图像和输入NI-LR图像中提取。复制块可以灵活地将引导特征的照明图案整合到输入特征中。基于复制和粘贴模块,我们提出的外部CPnet从外部UI-HR人脸显式地学习光照模式。
图3 外部CPnet的体系结构。这里的外部复制模块由一个复制块组成。粘贴块表示加法运算。
3、损失函数
为了训练我们的CPGAN框架,我们提出了光照补偿损失(LIC)和强度相似性损失(LMSE)、同一性相似性损失(LID)、结构相似性损失(LH)和对抗性损失(LADV)。总损失函数LG是上述各项的加权和。
光照补偿损失:CPGAN不仅恢复了UI-HR人脸图像,而且对光照不均匀进行了补偿。提出照明补偿损其基本思想是在潜在子空间中约束重建的UI-HR人脸的光照特性与引导的UI-HR人脸接近。
4、实验结果
将对提议的框架进行定性和定量的评估。主要在以下三个场景中进行比较:
- FH:面部超分方法(SRGAN,TDAE,FHC);
- IN+FH:光照补偿技术(CycleGAN)+人脸幻觉方法(SRGAN,TDAE,FHC)(使用双三次插值程序调整输入大小);
- FH+IN:面部幻觉方法(SRGAN,TDAE,FHC)+光照补偿技术(CycleGAN)。
与最新方法的比较
给出了与基准方法的定性比较,这证明了CPGAN比竞争方法更好的性能。显然,CPGAN获得的图像更真实,保留了身份,具有更丰富的面部细节。
与最先进的方法进行比较。(a)未对齐的NI-LR输入。(b)双三次插值+CycleGan。©SRGAN。(d)TDAE。(e)FHC。(f)CycleGan+SRGAN。(g)TDAE+CycleGan。(h)文中的。(i)GT。前三列:测试来自Multi-PIE数据集的样本(室内)。最后三列:测试来自CelebA数据集的样本(在自然环境下)。
在测试数据集上比较方法的平均PSNR[dB]和SSIM值
消融分析
没有内部CPNet的结果遭受严重的失真和模糊,没有外部CPNet,重建的面部严重偏离GT外观。
消融分析。 (a)16×16 NI-LR图像。 (b)128×128 GT图像。 (c)使用简单的输入卷积图层而不使用内部CPnet的结果。 (d)导致不使用外部CPnets,直接连接输入和输出功能。 (e)结果而不使用身份相似性损失(Lid)。 (f)结果而不使用结构相似性损失(Lh)。 (g)结果而不使用对抗性损失(Ladv)。 (h)CPGAN结果。
Copy and Paste GAN: Face Hallucination from Shaded Thumbnails相关推荐
- java undo_用JAVA实现Undo、Redo,Copy、Paste、Cut_java
programlover原作 package clipborad; import javax.swing.JTextArea; import java.awt.datatransfer.*; impo ...
- 在DBGrid中实现Copy、Paste功能 - DELPHI
在DBGrid中实现Copy.Paste功能 - DELPHI 工具条上的Cut.Copy和Paste加速按钮,对于使用Windows下编辑器的人来说,恐怕都是非常熟悉而且不可缺少的.Delphi中的 ...
- Markdown copy and paste
这里写自定义目录标题 1. Markdown copy and paste 1.1. 常用 1.2. 代码 1.3. 表格 1.4. 图片 1.5. 链接 1.6. HTML 元素 1.6.1. 换行 ...
- uitextfield长按显示英文select all,copy,paste?
2019独角兽企业重金招聘Python工程师标准>>> 解决办法:修改Info.plist中的Localization native development region为China ...
- 超100篇!CVPR 2020最全GAN论文梳理汇总!
点击上方"机器学习与生成对抗网络",关注"星标" 获取有趣.好玩的前沿干货! 戳我,查看GAN的系列专辑~! 下述论文已分类打包好!共116篇,事实上仍有一些 ...
- CVPR 2020之117篇GAN论文分类汇总清单
点击上方"机器学习与生成对抗网络",关注"星标" 获取有趣.好玩的前沿干货! 前言:详细说明版可见:CVPR 2020最全GAN论文梳理汇总!,可后台回复 GA ...
- cvpr2020 人脸检测与识别_就CVPR2020的来看,目前人工智能的研究热点有哪些进展?未来的研究趋势会有什么变化?...
CVPR 主打视觉CV吧,从趋势来看,越来越的"红"方向,比如,自监督/半监督/弱监督/无监督.少样本/单样本/零样本.可解释性.对抗样本/安全.多模态.3D等等~ 个人对GAN比 ...
- 人脸超分辨率阅读论文汇总
人脸超分辨率论文阅读汇总 1.FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors 2.Deep Face Supe ...
- ESXi vSphere Client中copy paste如何启用
为了能在客户端OS和远程console之间进行copy 和 paste,必须启用vSphere Client启用"copy 和 "paste"选项. 1.使用vSpher ...
最新文章
- Codeforces Beta Round #92 (Div. 1 Only) A. Prime Permutation 暴力
- 数据查询分页 获取总数时间太长_干货:SQL Server 查询语句
- 浅析Linux线程调度
- 如何在AWS搭建服务器控制服务器
- linux内核关闭tcp校验,linux内核tcp调优规范与方案
- 面向对象三个特征总结
- 产品设计:APP个人信息保护指引
- 写了10年Javascript未必全了解的标识符顺序
- 【数据挖掘】PCA 主成分分析算法过程及原理讲解
- KK集团冲刺上市背后:亏损规模连年飙升,KK馆贡献占比正在衰减
- 2021-06-11打开VMware虚拟机时提示“锁定文件失败 打不开磁盘或它所依赖的某个快照磁盘。
- 中国诗词大会第四季第一场
- js01--js基础入门
- java正则表达式多行匹配,正则表达式多行匹配 - Wangle_OP的个人空间 - OSCHINA - 中文开源技术交流社区...
- About云双11两大福利:送书【9本】|送1T资源
- 嵌入式软件工程师面试题(九)
- -XX:CMSInitiatingOccupancyFraction和-XX:+UseCMSInitiatingOccupancyOnly参数
- 大文件的切割与归并(数据分析案例三)
- SYD8811 AES硬件加密
- vue pdf canvas 展示 pdfjs pdf.worker.js