2-14-Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)

Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)

做什么任务?

-人脸超分(general SR process as ”face/facial hallucination”)和人脸编辑(”face editing” to the task where new features are injected)

人脸编辑的传统做法/本文做法：

条件GAN通过修改预先定义的离散视觉特征来生成图像(没有看传统做法)/本文模型通过使用Multiple-exemplar可以动态生成具有任意人脸特征的HR人脸图像。

Motivation?

-不利用人脸先验(landmark,heat map)，而是依赖于图像内容的先验知识

（图像内容的先验知识指的是multiple-reference images/exemplars/guidance images/side-information）---好处?可以解决超分中ill-posed问题,不依赖特定的人脸先验，所以该模型可以适用于自然图像超分

为什么利用Multiple-exemplar而不是一个参考图像?

-Multiple exemplars work better than a single one

-This gives more flexibility, as it allows the network to pick the visual features that best fit the LR input image, in terms of facial expression, illumination or pose.

如何利用Multiple-exemplar?

-设计pixel-wise weight generation module/Weighted pixel average(PWAve)module.

PWAve目标是学习如何更好地组合exemplars的feature map(选择exemplar中有用的区域信息)。这样做的目的是让模型能够自由地学习更合适的组合方法，而不是常用的平均法[1](后边有消融实验图)。Intuition：exemplar可以描述不同的特征，例如人脸表情、角度、化妆等(这些特征出现在LR图像中)。

-对于图3的解释(多张参考图像如何送入Encoder,下边这段话没提[猜想concate或add]，只解释了encoder输出的feature map形状中的K指的是参考图像的个数)：

权重W的可视化图如下：

参考图像个数的消融实验：

PWA模型的消融实验：

2-14-Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)相关推荐

【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network
对于遥感图像的超分辨率,本文提出了一种自适应多尺度特征融合网络(AMFFN). AMFFN 可以直接从原始低分辨率图像中提取密集特征,而无需任何图像插值预处理.串联几个自适应多尺度特征过滤块(AMFE ...
AAAI2020录用论文汇总（一）
本文汇总了截至2月23日arxiv上上传的所有AAAI2020录用论文,共计629篇,因篇幅过长,分为三部分,分享给大家. AAAI2020论文汇总(part 1) [1] MA-DST: Mu ...
转发--目前开源数据集整理
--------------------- 本文来自忘情摆渡的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/wangqingbaidu/article/detail ...
开源数据集,较全，且有对应连接
https://www.cnblogs.com/xiaojianliu/p/9446358.html 开源数据集下载人相关分割3D很多 https://blog.csdn.net/zhou89450 ...
Paper翻译：《A Novel Convolutional Neural Network Based Model for Recognition and Classification of App》
论文名称:<A Novel Convolutional Neural Network Based Model for Recognition and Classification of Appl ...
Odoo 14 手册库存管理盘点到按成本先进先出追溯批次序列号自动化路线
盘点所有最终结果操作所承诺的每家公司的各个方面.公司的最终结果是发生在公司库存中的产品移动和存储.此外,这是一个所有高级.复杂和简单的策略管理操作亭应该一起工作以达到预期效果的区域. Odoo 软件认 ...
Multiple Inheritance Considered Useful
转 Multiple Inheritance Considered Useful 这篇博文较长,需要耐心看完 Multiple Inheritance Considered Useful By Jac ...
thinking-in-java（14）类型信息
[0]开场白 1)运行时类型信息使得你可以在程序运行时发现和使用类型信息: 2)java是如何在运行时识别对象和类信息的?两种方式: 方式1)传统的RTTI(RunTime Type Identifi ...
（十三：2020.08.28）CVPR 2015 追踪之论文纲要（译）
CVPR 2020 追踪之论文纲要(修正于2020.08.27) 讲在前面论文目录讲在前面论坛很多博客都对论文做了总结和分类,但就医学领域而言,对这些论文的筛选信息显然需要更加精细的把控,所以自 ...

2-14-Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)

2-14-Multiple Exemplars-based Hallucination for Face Super-resolution and Editing(ACCV2020)相关推荐

最新文章

热门文章