Learning to Write Stylized Chinese Charactersby Reading a Handful of Examples

简单记录

1文章主要内容

2 首先，假设中文字体由内容和风格组成。

3 由于风格和内容没有明显的区别，所以先做reverse-engineering

4 建立了一个包含全部风格多样的中文字符的数据集

5 网络架构图如下图：

其中，内容识别网络 C，风格推断网络S,从每个Xi,j 得到内容cj和风格sj，之后通过生成网络G。同时模型只观察少数的字体

通过这些字符，风格特征 SM+KS_M+_KSM+K，通过S推断得到,s与任何内容特征c n∈{c 1: n}相结合，通过G生成理想的风格化汉字字符x M+k,n。

模型主要包含三个子网络，包括内容识别网络 C、风格推理网络 S，以及汉字生成网络 G。整个过程可以分为两个阶段——推理阶段和生成阶段。在推理阶段，首先，我们分别基于内容识别网络和风格推理网络将隐藏特征解耦成与内容和风格相关的成分。为了得到更多信息的内容编码，字体结构和部首的知识进一步被集成在内容向量中。在生成阶段，我们将内容向量和风格向量作为一个反卷积网络的输入，所以字体可以通过之前推理阶段得到的风格特征进行重构。为了可靠的解耦，训练过程是以交叉逐对的方式进行的，这意味着生成的汉字提取了不同的源汉字中的风格特征和内容编码。

6 网络结构

Content Recognition Network

主要为风格迁移网络和生产网提供正确的label.网络结构参考其他网络识别结构。
**

Character Structure Knowledge**dads

利用中文字体的知识是提高生成效果的关键,以前的方法多直接将每个字符转换为one-hot编码，之后将他链接到每层的特征图上。数据集大的话，会导致模型的参数爆炸性增长。为了解决这样的问题，我们引入了信息更加丰富的编码方式，通过在们的框架中引入汉字的配置和基本信息，并建立了相应的索引表K.
与one-hot编码不同，我们的编码方式会重复利用共享每个字体的配置和基本信息。通过索引表K，将one-hot编码通过转变为hascode。

编码方式如下图：
编码方式很短，前12bits ，识别汉字的12种常见结构：上下左右，等等。中间101代表不同部首。后20个如果前面是重复的索引。

Style Inference Network

风格迁移网络是变分自编码器，

输入的是内容code,c 图像X.进行高斯分布，这个公式和原始的变分自编码器没什么区别

同时为了解耦，（这一事实解耦变分自编码器的内容）
这就要求风格推理网络对相同风格的不同字符提供相同的后验分布。

Character Generation Network.

输入风格和字体内容。Bernoulli distribution 反卷积，

标题Intercross Pairwise Optimization

训练方法，