作者丨杨帅

学校丨北京大学博士生

研究方向丨图像风格化

论文引入

当你制作 PPT 时想要打造与背景图片风格一致的标题，当你设计宣传海报时想要一个引人注意的标题，当你发朋友圈时想要更生动地展示文字所传达的信息，你现在可能需要的是文字风格化算法。

文字风格化是一种为文字设计特效，将之渲染为独一无二的艺术字的过程。艺术字往往需要设计师依靠技术和经验花费几个小时去创作。这种耗时的工作当然可以交给计算机来做，ShapeMatchingGAN 应运而生，只需要提供一张风格图片，就能打造自己的火焰字、水滴字、闪电字、花瓣字等等。

▲ 将不同程度的火焰风格渲染到文字上

在文字风格化中，有一点需要注意，以火焰字为例，要使火焰在文字上烧起来，文字边缘势必要进行形状的调整，而过多的调整又会损害文字的可读性。因此，需要在文字的艺术性和可识别性上进行折衷。ShapeMatchingGAN 贴心地考虑到了这一点，提供了文字形变程度 l 这一参数。通过调整 l，就能实时获得不同变形程度的艺术字。想更硬朗一点，还是更飘逸一点，轻松选择。

▲ 选择最合适的艺术字效果

本篇的目的是解读在文字风格化任务中，如何让网络在一张用户指定的风格图像上实现训练，以及如何做到对文字不同变形程度的支持。

本篇的主角 ShapeMatchingGAN，是 ICCV 2019 Oral，实现了变形程度可控的文字风格化。作者还开源了 PyTorch 实现：https://github.com/TAMU-VITA/ShapeMatchingGAN，喜欢设计的小伙伴可以去尝试渲染一下自己的艺术字。

双向形状匹配策略

实验

实验对比

和已有的方法，ShapeMatchingGAN 进行了定性和定量上的对比。与这些方法相比，ShapeMatchingGAN 能够生成更自然的边缘和细节丰富的纹理。在主观打分上，ShapeMatchingGAN 获得了 0.802 的用户倾向均值, 而 Image Analogy [1], NST [2], Doodle [3], T-Effect [4] 和 UT-Effect [5] 分别为 0.513，0.376，0.537，0.230 和 0.542，ShapeMatchingGAN 取得最好的结果。

消融对比

文章定性上做了消融对比实验，包括直接使用 GT 不使用 GS (baseline)，使用串联 l 的方式代替可控的ResBlock (w/o CR)，直接使用 GS 不使用 GT (w/o TN)，以及完整的网络。

可控的变形程度

下图展示了文字边缘的叶片和文字边缘的冰晶逐渐生长得愈发丰茂的过程。我们的方法能快速且连续地逐步增加文字的变形程度。

动态艺术字

通过对输入图像添加噪声，能得到同一风格下不同形态的艺术字，组合起来就能让艺术字动起来。

总结

文章提出了 ShapeMatchingGAN，一种用于将风格图片的形状和纹理风格渲染到目标文字上的文字风格化模型。通过提出的双向结构匹配策略，ShapeMatchingGAN 能构建文字与风格在形状之间不同尺度上的对应关系，而可控的 ResBlock 的加入支持网络鲁棒地学会这样的对应关系。从实验结果上可以成功地实现文字风格化，并控制文字的形变程度，较其他方法取得了一定的优势。

更多文字风格化的工作

如果你对文字风格化感兴趣，欢迎关注作者其他几篇相关的工作：

基于块匹配的字效迁移：http://www.icst.pku.edu.cn/struct/Projects/TET.html

艺术字生成与图文结合：http://www.icst.pku.edu.cn/struct/Projects/UTS.html

基于特征解耦的字效迁移：http://39.96.165.147/Projects/ys_aaai19/TETGAN.html

关注小配饰的字效迁移：https://daooshee.github.io/Typography2019/TE141K

字效数据库：https://daooshee.github.io/TE141K/

参考文献

?

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 下载论文 & 源码