1. Adjustable Real-Time Style Transfer (ICLR 2020)

针对什么问题

本文指出基于现有风格迁移算法训练得到的模型，只能生成固定内容结构及风格模式的Stylized Images(风格化图)。此外，选取不同的风格图作为输入，总是得调整损失函数中每一层卷积特征的权重www，一旦使用者对生成的结果不满意，就要重新训练该模型。

提出什么方法

本文提出一种可以在训练和测试阶段自动调整关键参数的方法，使得训练得到的风格迁移模型可以通过调整参数，生成风格迥异的Stylized Images。

效果怎么样

本文的方法通过训练一个单一的模型，和多次训练得到的不同风格迁移模型，在生成的Style Images上达到相似的效果。

1.1 Model

本文的模型如下图所示：

模型的构造很简单，和快速风格迁移的模型类似，最大的区别在于新加入的可调节损失权重αc,αs\alpha_c, \alpha_sαc,αs，用于替代原始的快速风格迁移模型中计算内容损失LcL_cLc和风格损失LsL_sLs的的权重。
此外, αc,αs\alpha_c, \alpha_sαc,αs不仅加入到损失函数中，还通过训练前馈神经网络Λ\LambdaΛ并以CIN(Conditional Instance Normalization)的方式得到γα,γα\gamma_\alpha, \gamma_\alphaγα,γα以改变激活层的输出（如下面公式所示）。因此，在测试的时候可以通过调节αc,αs\alpha_c, \alpha_sαc,αs以调节生成器的输出。

z=γα(x−μσ)+βαz = \gamma_{\alpha}(\frac{x - \mu}{\sigma}) + \beta_{\alpha}z=γα(σx−μ)+βα

γα,βα=Λ(αc,αs)\gamma_{\alpha}, \beta_{\alpha} = \Lambda(\alpha_c, \alpha_s)γα,βα=Λ(αc,αs)
本文的实验提到了训练中αc,αs\alpha_c, \alpha_sαc,αs的取值。
- 本文采用预训练的Vgg19提取特征。
- 本文使用conv3conv3conv3提取内容特征，故αc=1\alpha_c = 1αc=1，也就是说αc\alpha_cαc的取值固定不变。
- 本文使用conv2,conv3,conv4conv2, conv3, conv4conv2,conv3,conv4提取风格特征，所以这三层中αs\alpha_sαs的取值随即从U(0,1)U(0, 1)U(0,1)中采样。

1.2 Optimization

本文采用的就是常规的风格迁移算法损失：
Lc(p)=∑αclLcl(p)L_c(p) = \sum \alpha_c^lL_c^l(p)Lc(p)=∑αclLcl(p)

Ls(p)=∑αslLsl(p)L_s(p) = \sum\alpha_s^lL_s^l(p)Ls(p)=∑αslLsl(p)

最大的区别就是，将原始的损失权重www替换成了可调节的α\alphaα

1.3 Experiment

本文做的实验主要有以下几方面

验证可调节参数的有效性
通过可调节参数，生成随机化的Stylized Images
和已有的BaseLine作比较

下面挑选几个实验做讲解

由于实验中，αc\alpha_cαc固定为1， αs\alpha_sαs的三个值可调节，故作者分别固定αs\alpha_sαs中其他两个值不变，剩余的一个值从0至1调节，得到上图的结果。可以发现，当调节不同层所对应的αs\alpha_sαs时，生成的Stylized Image风格变化的模式是不同的。这也凸显了作者方法的有效性。
在上面的实验中，作者通过常规的方法调节参数训练单一模型作为base，并调节关键参数使得自己的模型权重和单一模型一致。可以看出，作者的方法生成的图像和多个单一训练的模型生成的图像效果较为接近，这也说明了通过本文的方法，训练单一的模型在一定程度上能取代多个模型。
在上面的实验中，作者通过改变α\alphaα值和往内容图中填充高斯噪音以获得不同效果的Stylized Images。图中第一行是改变α\alphaα值，图中第二行是往内容图田中噪音，图中第三行是两种方法的结合。可以看到，生成的Stylized Images的确取得了不同的生成效果。

2. Sym-Parameterized Dynamic Inference for Mixed-Domain Image Translation(ICCV 2019)

针对什么问题

本文指出现有的图像翻译方法在没有数据集的情况下，难以学习到领域知识。比如说跨领域知识。如有晴天、阴天、雨天三种数据集，现有的方法只能生成各自领域的知识，却无法学习到混合领域的知识。

提出什么方法

本文提出将多领域的概念扩展到损失领域，并可以动态的生成混合领域的图像。说白了，就是通过在网络中加入参数，动态调节生成图像中3种领域的程度以生成混合领域的图像。

效果怎么样

生成的图像可通过参数Sym-parameters的调节，动态生成混合领域的图像。

2.1 Model

本文的模型如下图所示：

可以看出，该模型的创新指出在于
- 三种领域的数据集混合训练
- 引入Sym-parameters的CCAM模块
我们先来了解以下这三种领域数据集的训练方法
- 单独一个生成网络获得生成图像
- 生成图像分别和三种领域的数据集做以下损失
  - Reconstruction Loss
  - Perceptual Loss
  - Adversarial Loss
- 然后三种损失通过引入Sym-parameters联合起来更新整个模型
然后，我们看看Sym-parameters的含义
- 由于该模型被三种数据集以不同的损失进行训练，故可以通过加入Sym-parameters S=(s1,s2,s3)S=(s_1, s_2, s_3)S=(s1,s2,s3)同步在模型的网络和模型的损失中控制生成图像占据的领域知识比例。
- s1+s2+s3=1s_1 + s_2 + s_3 = 1s1+s2+s3=1，其维度和损失的个数相同。
- S基于狄利克雷分布采样
- 模型训练完毕后，可以通过调整S来改变生成图像中的混合领域知识的程度
最后，我们讲解一下CCAM模块，如下图所示
- CCAM模块接收上一层的图像特征和Sym-parameters向量作为输入
- Sym-parameters通过MLP升维再和AvgPool拼接在一起，最后通过全连接层的方式转换为通道注意力权重，和上一层原始特征相乘，得到输出特征

2.2. Optimization

本文的损失很简单，如下：
LG=s1Lrec+s2Ladv+s3LperL_G = s_1L_{rec} + s_2L_{adv} + s_3L_{per}LG=s1Lrec+s2Ladv+s3Lper
LD=−s2LadvL_D = -s_2L_{adv}LD=−s2Ladv
为了保持一致性，判别器损失也要加上相应的Sym-parameter。

2.3 Experiment

本文做的实验主要体现以下几方面内容

证明Sym-parameters的有效性
验证是否能够学到混合领域知识

下面挑选几个实验讲解

在上面的实验中，作者通过1-D的玩具模型同时训练一个MLP网络完成分类和回归的任务。左图是数据集可视化后的结果，右边三张图是在1-D玩具模型中引入Sym-parameters。通过训练单一的基于Sym-parameters的模型，以及基于Hyper-parameters的多个模型，得到以下结论：
- 当Sym-parameters和Hyper-parameters一致时，模型的损失值相同，说明Sym-parameters训练的单一模型的确能够取代多个模型。
- 若固定损失中的Sym-parameters不变，却动态的改变模型中的Sym-parameters，会导致最后的损失值和Hyper-parameters的不一致，说明模型和损失函数中的Sym-parameters需要同步变化。
在上面的实验中，作者展示了在Sym-parameter控制下，A,B,CA, B, CA,B,C三个领域互相转化的效果。第一行是A→BA\to BA→B，以此类推。最后一行是随机调整Sym-parameters的值，生成图像的情况。值得一提的是，右下角的图像将中间一项设为1.5，使得该领域知识被大大加强。
在上图的实验中，作者将本文提出的SGAN和其他多领域转换方法SingleGAN在Sym-parameter于(1,0,0),(0,1,0),(0,0,1)(1,0,0), (0,1,0), (0,0,1)(1,0,0),(0,1,0),(0,0,1)的情况下进行比较。可以看出，SingGAN的输出连原始领域的图像都无法转换，但SGAN因为有重构损失的参与，可以更多的还原原始领域的细节。
最后，作者还研究了Sym-parameter的不同注入方法，结果如上图所示。可以看出，CCAM方法生成的图像在风格模式和内容结构上都优于其他方法。

最后，感谢前辈们的付出，Respect!

基于Adjustable Parameters的Style Transfer系列论文相关推荐

pytorch 三维点分类_基于深度学习的三维重建——MVSNet系列论文解读
欢迎关注微信公众号"3D视觉学习笔记",分享博士期间3D视觉学习收获 MVSNet:香港科技大学的权龙教授团队的MVSNet(2018年ECCV)开启了用深度做多视图三维重建的先河 ...
深度学习之Style Transfer
Style Transfer 1.引入最近看了一些基于深度学习的Style Transfer, 也就是风格迁移相关的paper,感觉挺有意思的. 所谓风格迁移,其实就是提供一幅画(Reference ...
【读点论文】Image Style Transfer Using Convolutional Neural Networks（将卷积特征图提取语义信息，融合内容和风格的做法）
Image Style Transfer Using Convolutional Neural Networks 以不同风格呈现图像的语义内容是一项困难的图像处理任务.可以说,以前的方法的一个主要限制 ...
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization论文阅读笔记
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization论文阅读笔记目录 Arbitrary Style ...
神经风格迁移综述论文分享(neural style transfer review)
本文是论文的"神经风格迁移模型综述"简要总结和一丢丢笔者自己的理解,该论文发表于<计算机工程与应用> 当前主流方法主要可分为以下几类方法: 基于图像迭代的慢速神经风格迁 ...
AAAI2020/风格迁移:Ultrafast Photorealistic Style Transfer via Neural Architecture基于神经结构搜索的超快逼真风格转移
AAAI2020/风格迁移:Ultrafast Photorealistic Style Transfer via Neural Architecture基于神经结构搜索的超快逼真风格转移 0.摘要 ...
论文笔记-Real-Time MDE using Synthetic Data with Domain Adaptation via Image Style Transfer
论文信息标题: Real-Time Monocular Depth Estimation using Synthetic Data with Domain Adaptation via Image ...
经典论文重读---风格迁移篇(一)：Image Style Transfer Using Convolutional Neural Networks
核心思想采用深层卷积网络提取图像风格特征与内容,并将其进行融合生成效果很好的艺术图. 引言部分将一幅图像的风格迁移到另一副图像可以看作是纹理迁移的一个分支.对于纹理迁移,它的目标是从源图合成一种纹 ...
论文解读：《Learning Linear Transformations for Fast Image and Video Style Transfer》，CVPR 2019
论文解读:<Learning Linear Transformations for Fast Image and Video Style Transfer>,CVPR 2019 0. 论文 ...

基于Adjustable Parameters的Style Transfer系列论文