概要

风格转换已成功应用于照片，生成逼真的西方绘画。然而，由于中西绘画技法的内在差异，直接套用已有的方法，对中国水墨画风格的转换并不能产生令人满意的效果。本文提出了一种基于ChipGAN的端到端（ end-to-end）生成对抗性网络体系结构，用于照片转化为中国水墨画。

ChipGAN的核心模块实施了三个约束

空白（voids）

笔触（ brush strokes）（画笔描边）

水墨色调和扩散（ink wash tone and diffusion）

以解决中国水墨画中普遍采用的三个关键技术。

我们通过咨询专业艺术家，基于新建的中国水墨照片和图像数据集，进行风格化感知研究，以评估生成的绘画与真实绘画的相似性。与最先进的网络和高度程式化的感知研究核心相比，该方法在视觉质量方面的优势表明了该方法的有效性。

介绍

任何成功的艺术家都有自己独特的绘画风格。研究绘画风格中的这种独特性对绘画技能的训练很重要。除了传统的艺术理论培训，计算机视觉和图形技术如风格迁移和非真实感渲染，旨在帮助绘画艺术家系统地理解如何通过观察真实场景或照片，运用适当的绘画技巧呈现独特风格。

将绘画风格迁移到图像可以通过纹理合成来实现，使用低级别的图像特征，忽略图像的语义信息。利用卷积神经网络（CNN）从图像中提取高级语义信息进行风格转换，这显示了视觉逼真的结果（如上图，根据真实西方绘画的风格从照片到生成的西方绘画）。

然而，直接将现有的风格转换技术应用到中国水墨画中会产生不切实际的结果（图中，生成的水墨画，请注意混乱的线条和颜色）。这是因为中国水墨画和西方水墨画有几个本质的区别，在图中的最后一列中，西方真实绘画与水墨画真实绘画之间的比较表明：

1）就一幅画的构图而言，西方绘画在整个图像上充满了色彩，而中国水墨画则有一定的空白区域；
2）就表达技巧而言，西方绘画很少使用强线，而它指的是白皮书中的一些区域，中国水墨画家特意留下这些区域来启发观众去想象。会议：2018年10月22日至26日，韩国首尔,中国水墨画采用线条鲜明的笔触来强调轮廓中的物体；
3）在色彩丰富性方面，西方绘画倾向于使用多种颜色，而中国水墨画主要使用不同灰度的墨水，这些墨水会扩散到一张宣纸上（水墨色调和扩散）

为了实现中国水墨画的风格转换，我们提出了一种基于生成对抗网络（GAN）的中国水墨画风格转换解决方案，名为CHIPGAN。根据中国水墨画的三种技法，我们提出了三种特殊的约束：空白、笔触、水墨色调和扩散。

对于空洞，我们的约束结合了对抗损失和周期一致性损失，因为它们的目的是通过将信息转换为不可感知的信号来生成更真实的结果，从而留下白色区域。

对于画笔笔划，我们嵌入了一个预先训练好的整体嵌套边缘检测器（holistically-nested edge detector），并在照片和假画的边缘映射之间加强重新设计的交叉熵损失，以强调有力的线条。

对于水墨扩散和色调，我们使用腐蚀和模糊(eroded and blurred)的图像来模拟这种绘画特性，并提出了水墨鉴别器来区分处理过的真假画

现有的绘画数据集主要包含西方画家的作品（如梵高、莫奈等），没有包含相应中国水墨画的真实照片和图像的可用数据集。为了解决我们的问题，我们提供了一个中国水墨画数据集，其中包括从互联网和艺术工作室收集的真实场景照片和绘画图像，我们的数据集名为“ChipPhi”。

数据集包括

1630张马的照片（不同颜色和不同姿势）

912张徐悲鸿的绘画图像

1976张风景照片（世界著名风景）

1542张黄宾虹的绘画图像的景观数据集

总之，本文的贡献有三个方面

我们提出了ChipGAN，这是第一个执行从照片到中国水墨画风格转换的3个弱监督的深度网络架构，特别考虑了中国水墨画的三个基本技术：空白、笔触、水墨色调和扩散
我们引入了专业艺术家参与的风格化知觉研究，以评估原画和真画之间的风格一致性，并借助深度神经网络分析中国水墨画家的技巧
我们建立了第一个包含中国水墨画真实场景和图像的数据集ChipPhi，以便于训练和测试所提出的方法，并有助于中国水墨画风格转移的后续研究

提议的方法

chipGAN学习从照片领域（例如，由现实世界的马的照片定义）到绘画领域（例如，由中国水墨画的马定义）的映射。

在空白约束中，我们结合循环一致性损失和对抗性损失作为处理空白(voids)技术的约束条件
在笔触约束中，提出了brush strokeloss去除不必要的笔触，同时保留精华；
在水墨约束中添加了扩散效应（diffusion effect）和水墨损失，以确保整个图像的正确色调

1.Void constraint

直观地说，应用空白意味着在画布上的适当位置留下空白。

以马为例，适当地应用空洞需要生成的图像完全忽略天空，并且部分地忽略照片中的草，同时清晰地保持马的轮廓，如图的中间部分所示。

马的照片和一幅中国水墨画具有不同的熵，因为照片与绘画图像相比具有丰富的颜色和纹理。

在图像到图像的翻译任务中，利用源域和目标域之间的这种不同熵，通过组合对抗性损失和循环一致性损失，将源图像的信息有效地转换为几乎不可感知的信号。

因此，我们采用了类似的策略来实施空白约束

Adversarial loss

给出被认为是分别为X和Y的域的未配对的训练集合

我们的模型给出两个映射关系：G:X→YF:Y→XG : X\rightarrow Y \; F:Y \rightarrow XG:X→YF:Y→X

对于$G : X\rightarrow Y 以及他的辨别器以及他的辨别器以及他的辨别器D_Y$ 的对抗损失是这样定义的

Cycle consistency loss

我们通过将给定的图像X从domain X to target域Y中翻译出来，然后返回到domainX，这将产生相同的图像，从而增加循环一致性约束，公式表达为F(G(X))≈XF(G(X))\approx XF(G(X))≈X 。由于循环一致性约束要求在两个方向上进行恢复，因此对于每个在Domain Y的图像，还存在一个循环一致性约束$G(F(Y)) \approx Y $

这种约束使得生成的图像保留了源域的一些信息，从而可以将生成的图像转换回源域。

Brush stroke constraint

考虑到正确生成的空白区域，我们的下一个目标是增加笔触，以清晰地描绘中国水墨画风格的物体轮廓例如马的头部和身体应该有强烈的轮廓。

为了以统一的方式对中国水墨画中不同厚度的各种类型的笔划进行建模，我们制定了我们的笔触约束，用于加强真实照片和生成绘画的不同级别的边缘映射之间的一致性。

我们采用整体嵌套的边缘检测器从输入图像中提取五层边缘，以模拟五种不同厚度的笔划。

然后，我们合并从预先训练的VGG-16特征提取程序的不同阶段生成的边缘映射，以获得最终的边缘映射。与将边缘检测任务视为像素级二值分类问题不同，我们从回归的角度训练了一个多级边缘检测器，以获得不同厚度的平滑笔划。

training ground truth中的每个像素都用0到1的实数标记，这表明它们可能是边缘的一部分。

我们获得真实图像的edge map E(x) 以及生成图像的edge map E(G(x))

然后我们将E(x)作为ground truth 然后计算平衡交叉熵损失以让G生成正确的笔触

N是照片或假画边缘图中的像素总数
μ\muμ是一个平衡权重
- μ\muμ =N_/N and 1-μ\muμ = N+/N
- N_ 是边缘图中所有不是边缘点的可能性之和
- N+是边缘图中所有是边缘点的可能性之和

ink wash constraint

正确模拟了空洞和笔触，我们的最终处理是使全局色调（例如，生成的马画的整体色温应接近真实色温）和扩散效果（例如，马的腹部显示链接扩散到宣纸上的不同灰度）在真实绘制和生成绘制g（x）之间保持一致。因此，我们进一步引入了水墨约束。

水墨在宣纸上的扩散是近似各向同性的，所以我们用侵蚀操作和高斯模糊操作来模拟它。

当突出的物体被模糊时，这个操作会抑制纹理和内容信息的显式比较，因此，该模型更倾向于关注风格的一致性

因此，我们添加了一个对抗性鉴别器DID_IDI，用于区分yeby_{eb}yeb和G(x)ebG(x)_ebG(x)eb

y_eb是经过侵蚀和模糊处理的真实绘画
G(x)_eb是经过侵蚀和模糊处理的生成绘画
⊖是侵蚀操作
B是一个侵蚀核
高斯模糊核 Gk,l=12πσ2exp(−k2+l22σ2)G_{k,l} = \frac{1}{2\pi\sigma^2}exp(-\frac{k^2+l^2}{2\sigma^2})Gk,l=2πσ21exp(−2σ2k2+l2)

最后我们定一个水墨画损失:

Full objective

我们的全部目标是上述四种损失的线性组

ChipGAN: A Generative Adversarial Network for Chinese Ink Wash Painting Style Transfer翻译相关推荐

GAN（Generative Adversarial Network，GAN）模型应用
GAN(Generative Adversarial Network,GAN)模型人脸应用目录 GAN(Generative Adversarial Network,GAN)模型人脸应用人脸重构: ...
GAN（Generative Adversarial Network，GAN）模型之：SeqGAN、IRGAN、StackGAN、BigBiGAN、GAIN模型
GAN(Generative Adversarial Network,GAN)模型之:SeqGAN.IRGAN.StackGAN.BigBiGAN.GAIN模型目录 GAN(Generative A ...
GAN（Generative Adversarial Network，GAN）模型之：EBGAN、PGGAN、CGAN、ACGAN模型
GAN(Generative Adversarial Network,GAN)模型之:EBGAN.PGGAN.CGAN.ACGAN模型 EBGAN EBGAN的思想是,将D网络看做一个能量方程.当G网 ...
GAN（Generative Adversarial Network，GAN）模型之：InfoGAN、WGAN、DCGAN模型
GAN(Generative Adversarial Network,GAN)模型之:InfoGAN.WGAN.DCGAN模型 InfoGAN 为了解决定制化生成的问题,提出了InfoGAN模型.In ...
生成对抗网络（Generative Adversarial Network，GAN）
生成对抗网络(Generative Adversarial Network,GAN) Generative:生成式模型 Adversarial:采取对抗的策略 Networks:网络(不一定是深度学习 ...
DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network
模式崩溃是cGAN较为重要的问题,以往工作大多数都致力于关注latent code和生成图像之间的关系而没有关注通过不同latent code生成的图像之间的关系.MSGAN(mode seeking ...
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network Ledig C, Theis ...
PDGAN: A Novel Poisoning Defense Method in Federated Learning Using Generative Adversarial Network笔记
前言论文 "PDGAN: A Novel Poisoning Defense Method in Federated Learning Using Generative Adversari ...
论文阅读：Single Image Dehazing via Conditional Generative Adversarial Network
Single Image Dehazing via Conditional Generative Adversarial Network Runde Li∗ Jinshan Pan∗ Zechao L ...

ChipGAN: A Generative Adversarial Network for Chinese Ink Wash Painting Style Transfer翻译

概要

介绍

相关工作