介绍

先前的工作（指的是pix2pix，pix2pixHD）是：semantic layout 作为网络input。作者认为由于normalization会洗掉语义信息，提出网络的输入the input layout for modulating the activations in normalization layers through a spatially adaptive, learned transformation.通过空间自适应学习转换使用输入语义布局来调制激活函数，这个翻译我一直不怎么理解。

这个怎么理解呢：Previous methods directly feed the semantic layout as input to the deep network, which is then processed through stacks of convolution, normalization, and nonlinearity layers.

这里要说明下，pix2pixHD的gen的输入就是semantic layout，之后通过后面的卷积。SPADE的gen的输入是经历过Spatially-Adaptive Normalization后的actvn：F.leaky_relu，然后一层一层conv啥的。

方法

3.1 、Spatially-adaptive denormalization

Similar to Batch Normalization, the activation is normalized in the channel-wise manner, and then modulated with learned scale and bias.这两个因子是通过卷积学来的，作者认为they depend on the input segmentation mask and vary with respect to the location (y, x).

注意这里的下标，ɥ和ɓ是和通道C相关的。这里gama和beta是和C，（y，x）相关的，具有位置信息，加上通道C，这也就是空间Spatially-Adaptive。注意这里的h是 the activation at the site。

注意这里的代码：spade是先经历过norm的，输出经过actvn后再conv一大堆。而先前网路是直接喂入mask图后卷积balabala。

    def actvn(self, x):return F.leaky_relu(x, 2e-1)

3.2 SPADE generator

作者舍弃了pix2pix和pix2pixHD中的encoder部分，这里作者认为 spade中的两个因子已经学到mask足够的信息。the learned modulation parameters have encoded enough information about the label layout.。为了多模态生成，使用随机变量作为一开始gen的输入。

说明了残差连接（好像，似乎残差连接再gan生成上效果一直较好）

3.3 为什么spade好

这里作者认为，spade比其他norm保留更好的语义信息。这里说一下对norm的理解，如有错误，请勘误！

假设norm的输入x的维度是 b, c, h, w，经历bn层是以b维度求均值、方差做归一化。后面加入可学习因子。

归一化的过程是线性操作，假设输入是b个二值图，背景的地方是在分布的最左边，目标类是右边。不影响什么。

那为什么作者说其他norm会洗掉 semantic information，出现在gama和beta因子上，这两个因子encoder enough information about the label layout。同时可以看见gen上，spade块有多次的mask输入，不会随着网络深度而消失。

原文做了这样的解释：

现在有一个只有类的mask，例如天空image对应的mask，把mask作为input，先卷积后norm。卷积输出再次均匀化，不同的标签具有不同的均匀值。现在，在我们将
InstanceNorm应用于输出之后，无论输入的语义标签是什么，标准化激活都将变为全零。

SPADE Generator中的分割掩模通过空间自适应调制进行馈送而不进行归一化，仅前一层的激活被标准化。

实验

这部分证明了spade的有效、生成器、随机输入，证明了在gen上多次输入mask的好处。

SPADE: Semantic Image Synthesis with Spatially-Adaptive Normalization相关推荐

(SPADE)Semantic Image Synthesis with Spatially-Adaptive Normalization
论文:https://arxiv.org/abs/1903.07291 源码:https://github.com/NVlabs/SPADE 演示:http://gaugan.org/gaugan2/ ...
TensorFlow2实现空间自适应归一化（Spatial Adaptive Normalization, SPADE）
TensorFlow2实现空间自适应归一化(Spatial Adaptive Normalization, SPADE) 空间自适应归一化(Spatial Adaptive Normalization ...
【论文简介】CollageGAN: Collaging Class-specific GANs for Semantic Image Synthesis(用于语义图像合成的特定类拼贴GANs)
项目主页:https://yuheng-li.github.io/CollageGAN/ | github-空项目 | paper 图1:语义条件下高分辨率的图像生成(左上角黄色插图).我们的基本模型 ...
【CVPR 2019】Semantic Image Synthesis with Spatially-Adaptive Normalization（SPADE）
文章目录 Introduction 3. Semantic Image Synthesis Spatially-adaptive denormalization. conclusion # 空间自适应 ...
论文笔记：SPADE（CVPR 2019）-Semantic Image Synthesis with Spatially-Adaptive Normalization
论文笔记:SPADE(CVPR 2019)-Semantic Image Synthesis with Spatially-Adaptive Normalization SPADE DEMO 前言语 ...
GauGAN，Semantic Image Synthesis with Spatially-Adaptive Normalization 论文阅读
简介本文做的模型是从一张语义图(分割里的semantic mask)生成相应的一张真实图,下图的第一行是输入,不同的颜色代表不同的语义类别,第二行到第三行是生成的真实图像,其中每一行对应一种风格,每 ...
Semantic Image Synthesis with Spatially-Adaptive Normalization阅读
SPADE模块阅读解读链接:SPADE 论文阅读–Semantic Image Synthesis with Spatially-Adaptive Normalization https://zhu ...
GAN学习历程之Semantic Image Synthesis with Spatially-Adaptive Normalizatio论文笔记
Semantic Image Synthesis with Spatially-Adaptive Normalization: 论文地址:https://arxiv.org/pdf/1903.0729 ...
python复现：PCA-based spatially adaptive denoising of CFA images for single-sensor digital cameras
PCA-based spatially adaptive denoising of CFA images for single-sensor digital cameras 是2009年一篇基于PCA ...

SPADE: Semantic Image Synthesis with Spatially-Adaptive Normalization

介绍

相关工作

1、Unconditional normalization layers

2、Conditional normalization layers（这一部分挺重要的）

方法

3.1 、Spatially-adaptive denormalization

3.2 SPADE generator

3.3 为什么spade好

SPADE: Semantic Image Synthesis with Spatially-Adaptive Normalization相关推荐

最新文章

热门文章