A Style-Aware Content Loss for Real-time HD Style Transfer（一个风格转换的风格感知损失）CVPR2018

A Style-Aware Content Loss for Real-time HD Style Transfer

该论文贡献：
提出了一个风格感知损失函数，与一个encoder-decoder网络联合训练训练出特定艺术家风格。

该论文实验效果如下图，(a)(c）图分别是梵高早晚期作品，(b)(d)是合成图片。可以看出合成图风格更加贴切画家的风格。

下图主要表达了用不同画家风格合成出的图内容图纹理也会不相同，作者可能根据这个发现提出相应损失函数(下面提到)来达到该论文目的。

上图第一行是风格化图片，第二行是利用[33]的方法，从潜在空间E(X)重建粗略的内容可视化。值得一提这个33方法是鉴于论文Understanding Deep Image Representations by Inverting Them(CVPR2014)，这个论文的核心是：文章提出的是用于基于梯度的方法优化一个目标函数来实现浅层和深层表达的反转。例如（a）pollock由于抽象风格所以不能保留内容细节。所以第二行的图中内容细节就有点糊。作者说用上面方法的目的是：To show the additional intuition behind the style-aware content loss.

为了达到自动聚集相关风格图片的目的，即为给定一个Y0风格，据此找到一组Y0风格图。作者用Wikiart数据集网络在Wikiart数据集VGG16上从零训练来预测艺术家风格的图。

网络结构和训练网络的损失函数：
下图是该方法的网络结构，图中所用的损失在下面都有提到。

总的损失函数如下图

其中，
上图公式中的T是转换块

这个Lc就是作者提到的风格感知损失（style-aware loss），d是在潜在空间中的维度。作者在fig 2中发现的在浅层空间(latent space)中会仅关注与风格相关的细节，所以可以让特定画家的风格被训练到网络中，从而得到特定作家的风格。其中x是输入图片，G(E(x))是合成风格图。

这个LD损失函数像是GAN损失用到的判别器损失。

在该论文还提出了一个方法——Style Image Grouping
讲了如何自动聚集相关风格图片的方法，把长的差不多风格的图片放一块，既给定一个Y0风格，努力找一组与Y0差不多的图片。为了以上目的，作者用了Wikiart数据集在VGG16从0开始训练。借助这个方法与style-aware loss 结合可以让训练更加高效（快速得到特定画家风格）。
在训练时用的损失函数是用余弦距离来求，公式如下：

其中，是VGG16网络全连接层fc6的对输入图的特征图。t是数据集的分位数（应该是用来控制选择与Y0相似到什么程度的图片）。最后，公式是用来求余弦距离。

余弦距离也在以前看过的论文：*Style Transfer by Relaxed Optimal Transport and Self-Similarity(CVPR 2019)*中被用作计算内容损失，以提高合成图与原内容图的结构差距，效果如下图，由此可见余弦距离在保留内容图结构上有很大作用。

A Style-Aware Content Loss for Real-time HD Style Transfer（一个风格转换的风格感知损失）CVPR2018相关推荐

【损失函数：3】感知损失：Perceptual Loss、总变分损失（TV Loss）（附Pytorch实现）
损失函数一.感知损失(Perceptual Loss) 1.相关介绍 1)Perceptual Loss是什么? 2)Perceptual Loss如何构造? 3)代码实现 2.代码示例二.总变分 ...
损失函数——感知损失（Perceptual Loss）
感知损失(Perceptual Loss)是一种基于深度学习的图像风格迁移方法中常用的损失函数.与传统的均方误差损失函数(Mean Square Error,MSE)相比,感知损失更注重图像的感知质量 ...
A wizard’s guide to Adversarial Autoencoders: Part 3, Disentanglement of style and content.
"If you've read the previous two parts you'll feel right at home implementing this one." ← ...
【NDN转发】Community Aware Content Retrieval in Disruption Tolerant Networks 全文翻译
Community Aware Content Retrieval in Disruption Tolerant Networks 延迟容忍网络中基于社团感知的内容获取研究 You Lu, Mario ...
Perceptual Loss（感知损失）Perceptual Losses for Real-Time Style Transferand Super-Resolution论文解读
由于传统的L1,L2 loss是针对于像素级的损失计算,且L2 loss与人眼感知的图像质量并不匹配,单一使用L1或L2 loss对于超分等任务来说恢复出来的图像往往细节表现都不好. 现在的研究中,L ...
Perceptual Loss（感知损失）论文笔记
"Perceptual Losses for Real-Time Style Transfer and Super-Resolution"论文出自斯坦福大学李飞飞团队,发表于ECC ...
感知损失（perceptual loss）详解
本文来自收费专栏:感知损失(perceptual loss)详解_南淮北安的博客-CSDN博客_感知损失目录一.感知损失二.Loss_feature 三.Loss_style 感知损失的作用: ...
phpbb风格模板_phpBB3风格(Style)定制
phpBB3把美工设计称之风格(Style),phpBB风格定制清晰地分为三个部分: 1. 模板修改:为了变换页面结构而修改模板文件. 2. 主题(Them)定制:通俗地说,就是更改页面的色调.色彩搭 ...
MM2018/风格迁移-Style Separation and Synthesis via Generative Adversarial Networks通过生成性对抗网络进行风格分离和合成
Style Separation and Synthesis via Generative Adversarial Networks通过生成性对抗网络进行风格分离和合成 0.摘要 1.概述 2.相关工 ...
UserWarning: Workbook contains no default style, apply openpyxl‘s default warn no default style 解决方案
大家好,我是爱编程的喵喵.双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中.从事机器学习以及相关的前后端开发工作.曾在阿里云.科大讯飞.CCF等比赛获得多次Top名次.现 ...

A Style-Aware Content Loss for Real-time HD Style Transfer（一个风格转换的风格感知损失）CVPR2018

A Style-Aware Content Loss for Real-time HD Style Transfer（一个风格转换的风格感知损失）CVPR2018相关推荐

最新文章

热门文章