深度整形外科：使用手绘草图进行鲁棒且可控的图像编辑

摘要

基于草图的图像编辑旨在根据人工绘制的草图提供的结构信息来合成和修改照片。由于草图很难收集，因此以前的方法主要使用边缘贴图而不是草图来训练模型（称为基于边缘的模型）。但是，草图与边缘贴图显示出很大的结构差异，因此无法使用基于边缘的模型。此外，草图通常显示出不同用户之间的差异，要求更高的通用性和鲁棒性才能使编辑模型正常工作。在本文中，我们提出了“深层整形手术”，这是一种新颖，强大且可控制的图像编辑框架，该框架允许用户使用手绘草图输入交互地编辑图像。我们提出了一种素描改进策略，其灵感来自于艺术家从粗到精的绘画过程，我们展示了该策略可以帮助我们的模型很好地适应随意和多样化的素描，而无需实际的素描训练数据。我们的模型还提供了优化级别控制参数，使用户可以灵活定义输入草图对于最终输出应如何“可靠”，从而在草图真实性和输出逼真度之间取得平衡（因为如果绘制了输入草图，这两个目标可能会矛盾不好）。为了实现多级细化，我们引入了一种基于样式的级别调节模块，该模块允许在单一网络中针对不同级别进行自适应特征表示。大量的实验结果表明，与最新方法相比，我们的方法在提高图像编辑的视觉质量和用户可控制性方面具有优势。

引言

手绘草图反映了人们对物体的抽象表达。它们非常简洁而又富有表现力：通常，多行可以反映对象的重要形态特征，甚至暗示更多的语义级别信息。同时，草图易于编辑：触摸屏设备的日益普及进一步扩大了这一优势。素描因此成为人们说明想法并与设备进行交互的最重要方式之一。由于上述原因，近年来已经提出了一系列基于草图的图像合成和编辑方法。这些方法的共同主要思想是训练图像到图像的翻译网络，以将草图映射到其相应的彩色图像。这可以扩展到图像完成任务，在该任务中提供了附加的遮罩以指定要修改的区域。这些方法使新手用户可以通过简单的画线来编辑照片，而不必借助复杂的工具来处理照片本身。
由于难以收集成对的草图和彩色图像作为训练数据，因此现有作品通常将边缘图（从彩色图像中检测到）作为“草图”的“代用品”，并在成对的草图上训练它们的模型。边缘照片数据集。尽管在鞋子，手提包和人脸合成方面取得了一定的成功，但边缘贴图看起来与人类绘制似乎有所不同，后者往往具有更大的因果关系，变化甚至是狂野。结果，当这些方法的输入成为人工绘制的草图时，它们的泛化效果通常很差，从而限制了它们在现实世界中的使用。为了解决这个瓶颈，研究人员对边缘预处理进行了研究，但是到目前为止，在性能上的改进有限。还收集了一些人为绘制的草图数据集以训练基于草图的模型。但是，收集工作过于繁琐，无法扩展到更大的规模或满足所有数据主体的需求。
在本文中，我们介绍了Deep Plastic Surgery，这是一种新颖的基于草图的图像编辑框架，可实现手绘草图输入的鲁棒性和草图忠实度的可控性。我们的主要思想来自对人类艺术家从粗到细的绘画过程的观察：他们首先绘制粗略的轮廓，以指定最终细线所在的大致区域。然后逐步完善它们以收敛到最终的更清晰的线条。受此启发，我们提出了一种基于膨胀的草图细化方法。我们仅指定由边缘扩张创建的覆盖最终线的近似区域，而不是直接将草图本身供入网络，这迫使网络在粗略草图和细边之间找到映射。。可以通过设置膨胀半径来指定和调整粗糙度级别。最后，我们将不同粗略级别下的草图作为细化线的不同风格化版本对待，并使用可识别比例的样式转移，通过删除其基于膨胀的样式来恢复细线。我们的方法只需要训练彩色图像及其边缘贴图即可适应各种草图输入。它可以用作现有基于边缘模型的插件，从而对其输入进行优化以提高其性能。
我们的贡献概括为三个方面：
•我们探索了可控的基于草图的图像编辑的新问题，以使基于边缘的模型适应于人为绘制的草图，用户可以自由地在草图真实性和输出逼真度之间取得平衡。
•根据现实世界中艺术家的绘画过程，我们提出了一种使用粗化到细化扩张的草图细化方法。
•我们提出了一种基于样式的网络体系结构，该体系结构成功地学习了将输入草图细化为不同和连续的层次。

深层整形外科算法

图2

如图2所示，给定在边缘图像对{ S g t ， I g t S_{gt}，I_{gt} Sgt，Igt}上训练的基于边缘的图像编辑模型F，我们的目标是通过新颖的草图细化网络G使F适应人类绘制的草图。无需草图数据即可进行训练。 G的目的是改进输入草图，以匹配精细边缘图 S g t S_{gt} Sgt。然后将输出馈送到F中以获得最终编辑结果。我们的模型进一步以表示细化级别的控制参数“ l ∈ [ 0 , 1 ] l∈[0,1] l∈[0,1]”为条件，其中 l l l越大对应着较大的细化。在3.1节，我们描述了草图优化的关键思想。在3.2节，我们介绍了图像编辑框架，该框架可实现有效的可控优化。

3.1通过膨胀细化草图

图3

我们的草图细化方法是受人类艺术家从粗到细的绘制过程启发而来的。如图3所示，美术师通常以不准确的粗略草图开始新的插图，并用许多多余的线条来确定物体的形状。通过合并线，调整细节和修复错误来逐步调整这些草图，以获得最终的线图。当在粗略草图上覆盖最终线时，我们发现粗略草图中的多余线形成了一个可绘制区域，以指示最终线应位于何处（图3中的青色）。因此，从粗到细的绘制过程实质上是连续减小可绘制区域的过程。
基于观察，我们将草图细化定义为粗略草图与精细草图之间的图像到图像转换任务，其中在我们的问题中，精细草图 S g t S_{gt} Sgt是使用现有边缘检测算法像HED从 I g t I_{gt} Igt提取的边缘图。粗略的草图被建模为完全覆盖 S g t S_{gt} Sgt的可绘制区域 Ω ( S g t ） \Omega(S_{gt}） Ω(Sgt）。在下文中，我们提出了基于膨胀的可绘制区域生成算法，该算法基于 S g t S_{gt} Sgt自动生成 Ω ( S g t ) \Omega(S_{gt}) Ω(Sgt)以形成训练数据。

图4

草图数据生成。 我们的可绘制区域生成的过程如图4所示。主要思想是通过数学形态学中使用的膨胀运算将线扩展到区域中。但是，直接学习将膨胀的线转换回其自身将仅使网络能够简单地提取以该区域为中心的骨架，而不是细化草图。因此，细线在扩张之前首先随机变形。假设膨胀半径为 r r r，则我们将变形后每个像素的偏移量限制为不大于 r r r，如图 4(d)所示，这样groundtruth细线边缘就不会位于可绘制区域的中心，而是仍然被其完全覆盖。此外，注意到艺术家还将从草稿中推断出新的结构或细节（请参见图3中红色箭头所指），我们通过从完整草图中删除随机补丁来进一步丢弃部分线条。通过这样做，我们的网络被激励学习完成不完整的结构，例如图4（d）中的青色线。请注意，仅在训练阶段应用线变形和丢弃。
利用我们基于膨胀的可绘制区域生成算法，可以获得足够的配对数据 { Ω ( S g t ) , S g t } \{Ω(S_{gt}),S_{gt}\} {Ω(Sgt),Sgt}。直观地讲，较大的可绘制区域为线微调提供了更多空间，意味着更高的微调级别。为了验证我们的从粗到细精化的想法，我们训练了pix2pix [11]的基本图像到图像转换模型，将 Ω ( S g t ) Ω(S_{gt}) Ω(Sgt)映射到 S g t S_{gt} Sgt，并对每个膨胀半径使用单独的模型。如图5（a）所示，粗糙的面部结构成功地得到了细化，并且随着半径的增加，观察到了细化的现象。该属性使方便地编辑控制草图成为可能。在下一节中，我们将详细介绍如何将草图细化合并到具有有效电平控制的单个模型中，其总体性能如图5（b）所示。

3.2 可控制的基于草图的图像编辑

在我们的图像编辑任务中，我们将目标照片 I g t I_{gt} Igt作为输入，并在其上给出一个遮罩 M M M以指示编辑区域。用户绘制草图 S S S作为模型的形状指导，以填充被遮盖的区域。模型将调整 S S S，使其更适合 I g t I_{gt} Igt的上下文结构，细化级别由参数 l l l确定。
我们的训练不需要任何人工绘制的草图。相反，我们使用边缘图 S g t = H E D ( I g t ) S_{gt} = HED(I_{gt}) Sgt=HED(Igt)并生成其对应的可绘制区域 Ω ( S g t ） \Omega(S_{gt}） Ω(Sgt）。在3.1节中，细化水平与膨胀半径 r r r正相关。因此，我们在可绘制区域生成过程中合并了 l l l来控制 r r r，其中 r = l R r =lR r=lR，R为最大允许半径。最终可绘制区域采用 S l = Ω l ( S g t ) ⊙ M S_l=\Omega_l (S_{gt})\odot M Sl=Ωl(Sgt)⊙M的形式。然后，我们将根据上下文条件 I i n = I g t ⊙ ( 1 − M ) I_{in} = I_{gt}\odot (1-M) Iin=Igt⊙(1−M)训练G将 S l S_l Sl映射回精细 S g t S_{gt} Sgt 。图2概述了我们的网络体系结构。 G接收 I i n ， S l 和 M I_{in}，S_l和M Iin，Sl和M的级联，中间层 S l S_l Sl受 l l l控制，并产生四通道张量：完整的RGB图像通道 I g e n I_{gen} Igen和精制的草图通道 S g e n S_{gen} Sgen，即（ I g e n , S g e n ） = G ( I i n , S l , M , l ) （I_{gen},S_{gen}）= G(I_{in},S_l,M,l) （Igen,Sgen）=G(Iin,Sl,M,l)。在这里，我们要求具有照片生成功能的网络对边缘生成功能执行感知指导。如果F不可用，我们的模型也能够独立工作。最后，添加判别器D以通过对抗学习改善结果。
基于样式的优化级别控制。 如我们将在后面显示的那样，通过标签串联或特征插值进行的条件调整无法适当地对G进行细化。受基于AdaIN的样式转换和图像生成的启发，我们提出了一个有效的基于样式的控制模块来解决此问题。具体来说，可以将处于不同粗略级别的草图视为具有不同的样式。 G的任务是对它们进行风格化处理以获得原始 S g t S_{gt} Sgt。在AdaIN [9]中，样式被建模为特征的均值和方差，并通过分布缩放和移位（即归一化+非归一化）进行传递。注意，相同的操作也可以用于其反向处理，即去风格化。为此，如图2所示，我们建议使用多层感知器将条件 l l l解码为全局风格代码。对于每个卷积层，期望G中的第一个和最后一个有两个附属的线性层将样式代码映射到局部样式均值和方差，以进行基于AdaIN的去样式化。
损失函数
G的任务是在 L 1 L_1 L1的意义上接近groundtruth照片和草图：
L r e c = E I g t , M , l [ ∣ ∣ I g e n − I g t ∣ ∣ 1 + ∣ ∣ S g e n − S g t ∣ ∣ 1 + ∣ ∣ I o u t − I i n ∣ ∣ 1 L_{rec} = E_{I_{gt},M,l}[||I_{gen}-I_{gt}||_1+||S_{gen}-S_{gt}||_1+||I_{out}-I_{in}||_1 Lrec=EIgt,M,l[∣∣Igen−Igt∣∣1+∣∣Sgen−Sgt∣∣1+∣∣Iout−Iin∣∣1
I o u t = F ( I i n , S g e n , M ) I_{out} = F(I_{in},S_{gen},M) Iout=F(Iin,Sgen,M)是我们问题的最终输出。在这里， I o u t I_{out} Iout的质量也被认为可以以端到端的方式使G适应预训练的F。
逼真的草图到图像翻译。
在 M = 1 M = 1 M=1的极端条件下， I g t I_{gt} Igt被完全掩盖了，我们的问题变成了更具挑战性的草图到图像平移问题。我们通过实验发现，如果没有 I g t I_{gt} Igt的任何上下文提示，结果将下降。为解决此问题，我们通过删除输入 I i n I_{in} Iin和 M M M来调整模型，并专门针对此任务训练一个单独的模型，这将带来明显的质量改进。