文章目录

创新点
算法
- 全局流场估计
- 分割编码
- 身体表征
- 姿态编码
- 损失函数
- 训练过程
实验
- 姿态迁移评估
- 消融实验
- Tucking in
- Garment layering
- Content removal
- Print insertion & Texture transfer & Reshaping
结论

论文:[《Dressing in order: Recurrent person image generation for pose transfer, virtual try-on and outfit editing》](Dressing in order: Recurrent person image generation for pose transfer, virtual try-on and outfit editing》)
github: https://github.com/cuiaiyu/dressing-in-order

创新点

DiOr支持2D姿态迁移、虚拟试衣、服装编辑任务；
DiOr重点是使用新颖的循环生成网路，将衣服按顺序穿到一个人身上，顺序不同，结果不同；

算法

DiOr整体流程如图2，

流程如下：
1、目标域姿态P经过Epose得到Zpose；
2、Zpose与T’body通过G循环生成状态Zk；
3、Zk经过Gdec生成图片Igen；

全局流场估计

对于源域穿着衣物gkg_kgk的人体IgkI_{gk}Igk，使用Self Correction for Human Parsing提取衣物分割sgks_{gk}sgk，使用openpose获取人体关键点估计PgkP_{gk}Pgk，源域姿态Pgk与目标姿态PPP存在差异，使用流场fgkf_{gk}fgk将sgks_{gk}sgk与目标姿态PPP对齐，如图3a；

分割编码

对衣服分割sgks_{gk}sgk通过编码器EsegE_{seg}Eseg进行编码，生成空间对齐的纹理特征T及粗略的mask M；
EsegE_{seg}Eseg模块如图3b，输入首先经过EtexE_{tex}Etex对输入提取纹理信息，使用双线性插值将EtexE_{tex}Etex的输出通过流场fgkf_{gk}fgk进行扭曲得到纹理特征TgkT_{gk}Tgk，TgkT_{gk}Tgk经过风格器S得到形状mask MgkM_{gk}Mgk；使用EmapE_{map}Emap映射TgkT_{gk}Tgk到合适维度，引入TgkT_{gk}Tgk的均值向量（T‾gk\overline T_{gk}Tgk）有助于对衣物缺失区域进行补全；如下式，

身体表征

如图3c，对于源域人体的身体编码过程；
对于源域人体Is经过风格得到背景mask sbgs_{bg}sbg及皮肤mask sskins_{skin}sskin，分别经过分割编码器器EsegE_{seg}Eseg编码得到(Tbg,Mbg)(T_{bg},M_{bg})(Tbg,Mbg)和(Tskin,Mskin)(T_{skin},M_{skin})(Tskin,Mskin)；
为确保身体特征图贯穿整个身体区域，计算TskinT_{skin}Tskin均值向量b，将b broadcast到前景区域MfgM_{fg}Mfg，得到特征图经过EmapE_{map}Emap映射到合适区域；背景TbgT_{bg}Tbg、MbgM_{bg}Mbg经过映射为Tbg′T'_{bg}Tbg′，流程如式1；

姿态编码

姿态编码器EposeE_{pose}Epose：由3个卷积层构成，每个卷积层跟随IN及leaky ReLU层；

损失函数

损失函数如式3，

LcontentL_{content}Lcontent表示生成图像与真值之间一致性，包括L1 Loss、感知损失、风格损失；
LgeoL_{geo}Lgeo表示预测流场的正确性和正则性损失；
LGANL_{GAN}LGAN使用两个判别器：一个基于pose、另一个基于分割；
LsegL_{seg}Lseg表示Mg与真值mask之间差异；

训练过程

作者发现单独训练一个姿态迁移模型得到一个不准确不一致试衣结果，如图6，因此作者训练时加入重构，即Pt=PsP_t=P_sPt=Ps，可以改进衣服重叠，但不能填充缺失区域；通过对输入进行部分mask解决；

实验

姿态迁移评估

消融实验

Tucking in

Garment layering

Content removal

Print insertion & Texture transfer & Reshaping

结论

DiOr一种灵活的人物生成方法，经过姿态迁移和修复训练，便能够在没有直接监督的情况下执行多种服装分层和编辑任务。
但是对于复杂或很少见的姿势并不总是正确渲染，不寻常的服装形状没有保留，存在一些重影伪影，服装上的洞并不总是正确填充；

虚拟试衣-DiOr论文解读相关推荐

VITON: An Image-based Virtual Try-on Network虚拟试衣网络论文翻译
引用论文: Han, X., Wu, Z., Wu, Z., Yu, R., Davis, L.S.: Viton: An image-based virtual try-on network. ar ...
虚拟试衣：GAN的落地应用挑战之一
点击上方"机器学习与生成对抗网络",关注星标获取有趣.好玩的前沿干货! 背景近年来,在线购物需求不断增长.尽管网购能提供一些便利,但消费者也关心网购所买的服装真正在他们身上穿上 ...
wFlow(CVPR2022)-虚拟试衣论文解读
文章目录解决问题算法 stage1: 有条件人体分割 stage2: pixel flow估计 stage3: 使用wFlow进行衣服迁移 wFlow GTN 损失函数在线循环优化实验数据集 ...
【虚拟试衣论文笔记】C-VTON: Context-Driven Image-Based Virtual Try-On Network
论文地址:https://openaccess.thecvf.com/content/WACV2022/papers/Fele_C-VTON_Context-Driven_Image-Based_Vi ...
【虚拟试衣论文笔记】CP-VTON+: Clothing Shape and Texture Preserving Image-Based Virtual Try-On
论文地址:http://users.cs.cf.ac.uk/Paul.Rosin/resources/papers/CP-VTON+.pdf 项目地址:https://github.com/minar ...
【虚拟试衣论文笔记】M3D-VTON: A Monocular-to-3D Virtual Try-On Network
论文地址: 项目地址:https://github.com/fyviezhao/M3D-VTON 本文提出了一种 Monocular-to-3D Virtual Try-On Network (M3D ...
虚拟试鞋行业分析及首篇论文解读
目录项目背景论文解读摘要引言 2.相关工作 2.1 2D姿态估计 2.2 6-DoF姿态估计
AI 虚拟试衣论文汇总
猜您喜欢: 深入浅出stable diffusion:AI作画技术背后的潜在扩散模型论文解读戳我,查看GAN的系列专辑~! 一顿午饭外卖,成为CV视觉的前沿弄潮儿! 最新最全100篇汇总!生成扩散 ...
最新ICCV 2021 | 虚拟试衣（21）图像编辑-文本引导（22）图像编辑-单样本（23）生成对抗GAN...
(1)GAN改进系列图像编辑系列之(2)基于StyleGAN(3)GAN逆映射(4)人脸 (5)语义生成图像恢复系列之(6)超分(7)反光去除(8)光斑去除 (9)阴影去除(10)水下图像失真去除 ...

虚拟试衣-DiOr论文解读