【虚拟试衣论文】Generating High-Resolution Fashion Model Images Wearing Custom Outfits

论文地址：http://openaccess.thecvf.com/content_ICCVW_2019/papers/CVFAD/Yildirim_Generating_High-Resolution_Fashion_Model_Images_Wearing_Custom_Outfits_ICCVW_2019_paper.pdf
项目地址：

Zalando是总部位于德国柏林的大型网络电子商城，其主要产品是服装和鞋类。这篇文章很短，几乎没有什么废话，模型的效果看起来也很好。得益于其行业性质，其使用的是具有大约 38万张1024×768模特图片的专有图像数据集，几乎是其他论文使用的数据集的5~10倍。本文提出了两种试衣的方法，第一种是通过在不同的层替换两张图片的style code，实现改变服装风格或改变姿势的效果。第二种是将至多6种不同位置的服装配饰穿戴到目标人物上，

Unconditional Version

第一个版本使用 vanilla Style GAN，用于表明可以将一个生成的时装模特的服装颜色和身体姿势转移到另一个模特身上，如图4所示。
该版本中有 18 个生成器层，它们接收样式向量的仿射变换副本以进行自适应实例规范化。鉴别器与原始的 Style GAN 相同。该版本在四个 NVIDIA V100 GPU 上训练这个网络大约四个星期，共 160 个 epoch。

Conditional Version

第二个版本是修改过的 Style GAN ，可以根据服装和人体姿势来调节生成过程。，能够在不同的身体姿势和类型下快速可视化定制服装。在条件版本中，在 Style GAN 中加入了嵌入网络，如图 2(b) 所示。该网络的输入是六个不同服装配饰图像（总共 18 个通道）和一个16 个关键点的Heatmap（使用了MRA和中科大提出的16个节点的Heatmap作为人体姿态表示）。
服装配饰图像以固定顺序连接，以实现服装间的语义一致性，某一个服装缺失，会被一个空的灰色图像填充。嵌入网络创建一个 512 维向量，将其与潜在向量连接以生成样式向量。该模型也训练了 4 周（ 115 个 epoch）。
条件模型中的判别器使用单独的网络来计算输入服装图像和热图的嵌入，然后用于计算最终分数。
效果如图5所示。