文章目录

创新点
算法
- Patch-routed Disentanglement Module
- Attribute-decoupled Conditional StyleGAN2
- Spatially-adaptive Residual Module
- 损失函数
实验
- 非成对数据集
- 成对数据集
- 消融实验
结论

论文：《Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN》
代码： https://github.com/xiezhy6/PASTA-GAN

创新点

PASTA-GAN支持非成对数据进行虚拟换装
try-on目前存在问题：

传统成对try-on方法使用数据成对出现，即人A穿衣服C1及C2的图片，以此训练变换网络，但实际中人体不一定成对出现，缺少成对真值标定，此方案将失效；
现有非成对试衣方案通过使用不同姿态人体图像将服装与姿态进行解耦，但是这需要同一个人的不同姿态数据；

PASTA-GAN可以精准生成衣服形状和风格：
1、引入patch-rounted解耦模块，将服装风格及空间特征解耦；
2、空间自适应残差模块，减轻特征不对齐问题；

PASTA-GAN创新点有三个：
1、将衣服分割为归一化patch，patch-routed解耦模块鼓励风格编码器学习空间无关的衣服特征，这些特征使得无论衣服空间信息如何，生成网路都将生成准确衣服风格的图片；
2、给出目标人体姿态后，不需要扭曲网络或者3D人体模型，归一化patch可以轻松重构符合目标形态的衣服；
3、空间自适应残差模块提取扭曲的服装特征，自使用对齐目标衣服形状；

算法

PASTA-GAN推理过程如图2所示，

PASTA-GAN推理过程如下：
1、给出源域及目标域人体（Is,ItI_s,I_tIs,It），提取源域服装GsG_sGs，源域姿态JsJ_sJs，目标域姿态JtJ_tJt，三者通过patch-routed解耦模块生成归一化衣服patch PnP_nPn以及扭曲的衣服GtG_tGt；
2、conditional stylegan2将从PnP_nPn提取的风格ω\omegaω，从目标头及姿态提取的人体特征fidf_{id}fid，生成粗糙试衣结果I~t′\widetilde I_t'It′及对应目标服装mask MgM_gMg；
3、在纹理生成分支充分利用fgf_gfg生成最终试衣结果It′I_t'It′.
PASTA-GAN注意包括三部分：patch-routed distanglement模块、attribute-decoupled conditional StyleGAN2、Spatially-adaptive Residual模块。

Patch-routed Disentanglement Module

图2为推理过程，由于缺少成对样本，因此解耦pose与衣服关联至关重要；
为移除衣服包含空间信息，作者直接将衣服分割为归一化patch；
patch-routed生成归一化Patch PnP_nPn以及扭曲的衣服GtG_tGt；
原理如下，过程如图3：
1、提取源域人体关键点JsJ_sJs，源域衣服GsG_sGs；
2、根据关键点位置，将衣物分为8个patch PsP_sPs；
3、通过视角变换对所有patch进行归一化，除去空间信息。
视角变换过程如下：
a.通过PsP_sPs与PnP_nPn一一对应patch的角点（关键点）坐标计算Hs−>nH_{s->n}Hs−>n,完成patch归一化，如式1，Pn每个patch大小固定(64∗6464*6464∗64);

b.通过使用目标关键点进一步将PnP_nPn迁移至PtP_tPt；
中间归一化patch有利用解耦衣服风格与空间特征；

Attribute-decoupled Conditional StyleGAN2

单独的conditional StyleGAN2不足以生成逼真的衣服细节，尤其是复杂纹理与logo；原因有二：
1、风格编码映射为归一化patch为一维向量，导致缺少高频信息；
2、由于服装纹理多样性，对基础生成网络来说，学习服装的细节分布充满挑战。
为了生存更真实衣服，作者在生成网络128*128生成block后增加两个分支：风格生成分支（SSB）与纹理生成分支（TSB）。
SSB用于生成中间试衣结果I~t′\widetilde I_t'It′及对应目标服装mask MgM_gMg；
TSB利用MgM_gMg及扭曲的衣服GtG_tGt（存在丰富纹理信息引导生成）生成高质量试衣结果；

Spatially-adaptive Residual Module

扭曲的衣服GtG_tGt与MgM_gMg存在不对齐，由于GtG_tGt直接通过拼接patch得到，如图4；

为了解决这个问题，如图2，在TSN的最后两个生成block之间添加spatially-adaptive residual module，该模块由一个服装编码器和三个具有特征嵌入机制的空间自适应残差块组成。
其过程如下：
1、移除MgM_gMg以外区域的GtG_tGt，图4中绿色区域；
2、修补MgM_gMg中未对齐的特征区域，图4中橙色区域；
归一化和调制过程如式6，

损失函数

图2为推理过程结构，训练过程 Is、ItI_s、I_tIs、It使用同一张图；
即使原始pose与目标pose相同，粗糙的扭曲衣服GtG_tGt与原始衣服GsG_sGs存在差异；同时为了缩小训练测试差异，训练过程增加随机擦除；如图5

损失函数主要包括：
1、重构损失Lrec：
重构损失Lrec：
由于训练数据非成对，因此使用图像重构损失；
生成图像（粗糙试衣结果及最终试衣结果）与真实图像之间L1损失；
2、感知损失Lperc：
使用5层VGG-19特征，计算特征L1距离；
Lrec与Lperc，如式7，

3、mask 损失Lmask：
预测的衣物maskMgM_gMg与真值mask MgtM_{gt}Mgt（即Gs的Mask）之间loss，如式8；

4、对抗损失LGAN：
总损失如式9，

实验

非成对数据集

作者使用FID以及真人评估图片真实性，结果如表1，

在UPT数据集非成对设置下，各个方法可视化结果如图6，

成对数据集

在MPV数据集，比较成对的数据可视化结果，如图7，

消融实验

结论

patch-routed模块解耦衣服与空间信息，使得非成对服装迁移成为可能；
PASTA-GAN中关键点信息来自OpenPose，人体部件分割信息来自Graphonomy。

虚拟试衣（unpaired）-PASTA-GAN论文解读相关推荐

虚拟试衣-DiOr论文解读
文章目录创新点算法全局流场估计分割编码身体表征姿态编码损失函数训练过程实验姿态迁移评估消融实验 Tucking in Garment layering Content remov ...
wFlow(CVPR2022)-虚拟试衣论文解读
文章目录解决问题算法 stage1: 有条件人体分割 stage2: pixel flow估计 stage3: 使用wFlow进行衣服迁移 wFlow GTN 损失函数在线循环优化实验数据集 ...
基于图像的虚拟试衣：Image Based Virtual Try-On Network from Unpaired Data
Image Based Virtual Try-on Network from Unpaired Data Image-Based-Virtual-Try-on-Network-from-Unpair ...
虚拟试衣：GAN的落地应用挑战之一
点击上方"机器学习与生成对抗网络",关注星标获取有趣.好玩的前沿干货! 背景近年来,在线购物需求不断增长.尽管网购能提供一些便利,但消费者也关心网购所买的服装真正在他们身上穿上 ...
最新ICCV 2021 | 虚拟试衣（21）图像编辑-文本引导（22）图像编辑-单样本（23）生成对抗GAN...
(1)GAN改进系列图像编辑系列之(2)基于StyleGAN(3)GAN逆映射(4)人脸 (5)语义生成图像恢复系列之(6)超分(7)反光去除(8)光斑去除 (9)阴影去除(10)水下图像失真去除 ...
CVPR 2018 论文解读 | 基于GAN和CNN的图像盲去噪
作者丨左育莘学校丨西安电子科技大学研究方向丨计算机视觉图像去噪是low-level视觉问题中的一个经典的话题.其退化模型为 y=x+v,图像去噪的目标就是通过减去噪声 v,从含噪声的图像 y 中 ...
【虚拟试衣论文笔记】C-VTON: Context-Driven Image-Based Virtual Try-On Network
论文地址:https://openaccess.thecvf.com/content/WACV2022/papers/Fele_C-VTON_Context-Driven_Image-Based_Vi ...
【虚拟试衣论文笔记】CP-VTON+: Clothing Shape and Texture Preserving Image-Based Virtual Try-On
论文地址:http://users.cs.cf.ac.uk/Paul.Rosin/resources/papers/CP-VTON+.pdf 项目地址:https://github.com/minar ...
【虚拟试衣论文笔记】M3D-VTON: A Monocular-to-3D Virtual Try-On Network
论文地址: 项目地址:https://github.com/fyviezhao/M3D-VTON 本文提出了一种 Monocular-to-3D Virtual Try-On Network (M3D ...

虚拟试衣（unpaired）-PASTA-GAN论文解读