1、TPS（Thin Plate Spline）方法

TPS（薄板样条）插值是常用的2D插值方法。来表达薄金属板的物理弯曲能与点约束的关系（用一个薄钢板的形变来模拟2D形变，确保这N个点能够正确匹配，那么怎样的形变，可以使钢板的弯曲能量最小）。

补充：插值的常用方式

将一张图片（包含10个像素点）扩大10倍，得到一张新图（包含100个像素点），其中90个像素点的值是缺少的，此时就可以使用插值法解决缺失问题。

给定两张图片中一些相互对应的关键点，将其中一张图片形变到另外一张图片上，使得这些关键点都对应重合。

其中，A和B为非变形的基本网络。C为B变成A得到的TPS样条曲面。D为A变成B得到的TPS样条曲面。

2、空间变换

2.1、affine（2D仿射变换）

2.2、projection（3D透视变换）

3、STN（Spatial Transformer Networks）

补充：CNN层数越深，语义信息越丰富，空间信息越贫乏。

当是一张人的图片时，CNN层数越深，经过不断的卷积，可以提取出“眼睛”、“耳朵”等具体的语义信息，并将其组合在一起，从而判断是人还是狗。但是，经过多次卷积操作（还包括池化层），使得特征图越来越小，已经逐渐忘记了它在原始图像上的位置，空间信息贫乏。

CNN具有空间不变性，就是说对位置信息不敏感，即比如图中有一只狗，无论在图像上对这只狗进行平移、旋转、缩放等操作，CNN依然能判断这是一只狗。

STN允许在网络内对数据进行空间操作。这个可微模块可以插入到现有的卷积架构中，使神经网络能够根据特征图本身的条件主动进行空间变换，而无需任何额外的训练监督或对优化过程进行修改。STN的作用类似于传统的矫正的作用。

STN网络结构

Localisation Net：简单的回归网络。对输入图片U进行CNN，输出Aθ（假设是仿射变换，得到2x3的矩阵，共6个角度值）

Grid generator：初始V没有像素信息（可以想象成全白或全黑图）只有位置信息（比如（0，0）（0，1）…）。Grid generator负责将V的位置信息与Aθ运算，得到对应原始图中对应的坐标信息T(G)（比如（5，0）（5，1）…）。

其中，s对应原始图位置坐标，t对应目标图位置坐标，Aθ为变换矩阵。

注意：V的位置信息与Aθ运算得到T(G)，可是T(G)的值（x，y）很可能是非整数，无法与原图像中的像素坐标对应起来，导致像素值缺失问题，于是考虑使用插值法，求出输出像素点的取值，解决像素值缺失问题。

Sampler：通过T(G)和原始图U的像素，将对应位置的像素复制到V中，得到目标图像素V。

4、CNN求得θ

用深度学习方法模拟经典的图像相似度估计问题
用深度学习方法估计仿射变换参数Aθ（对图片进行仿射变换，使得原图关键点与目标图片关键点在位置上粗对齐，便于后面进行TPS），以及更为复杂的TPS transformation

End-to-End模型

输入：两张图片IA和IB

特征提取：双路CNN（如：VGG16），权值共享，对IA和IB提取特征fA与fB

Matching：使用correlation-layer，把两路CNN提取的特征融合为一个向量，即fA与fB进行点乘得到correlation map，得到correlation map 后，使用ReLU+L2Norm对相似度进行归一化，以凸显相似度高的点，得到fAB。

Regression CNN：输入correlation map，得到仿射变换的6个参数Aθ，回归层中使用卷积层而不是全连接层，防止梯度爆炸。

参考：
综述：利用深度学习实现的虚拟试衣技术（基于图像）
Convolutional neural network architecture for geometric matching 论文笔记

2D虚拟试衣——服装变形相关推荐

虚拟试衣：Virtual Try-on Network系列工作
虚拟试衣:Virtual Try-on Network系列工作前言:原先在知乎上用Markdown+LaTex编辑的插件失效了,稍微修正了下长公式,短的符号就不一一修改了.最佳浏览体验见:http: ...
3D虚拟试衣有望解决厘米级服装误差网购服装不再蒙
还在担心网购服装对实际穿着效果没把握吗?随着京东App 6.6.3版本的更新,京东试试3D虚拟试衣功能正式上线,消费者可按照自己的身材比例创建专属的3D模型,而试穿效果则可以完全依照模型来展现.据了解 ...
【虚拟试衣论文笔记】M3D-VTON: A Monocular-to-3D Virtual Try-On Network
论文地址: 项目地址:https://github.com/fyviezhao/M3D-VTON 本文提出了一种 Monocular-to-3D Virtual Try-On Network (M3D ...
综述：利用深度学习实现的虚拟试衣技术（基于图像）
学习报告5 目录学习报告5 1. 二维虚拟试衣技术 1.1 发展历史 1.2人体解析 1.2.1 人体分割 VITON & CP-VTON MG-VTON ClothFlow 条件布局生成器 ...
基于图像的虚拟试衣：Image Based Virtual Try-On Network from Unpaired Data
Image Based Virtual Try-on Network from Unpaired Data Image-Based-Virtual-Try-on-Network-from-Unpair ...
wFlow(CVPR2022)-虚拟试衣论文解读
文章目录解决问题算法 stage1: 有条件人体分割 stage2: pixel flow估计 stage3: 使用wFlow进行衣服迁移 wFlow GTN 损失函数在线循环优化实验数据集 ...
基于图像的虚拟试衣：VITON:An Image-based Virtual Try-on Network(2018)
[paper]VITON: An Image-based Virtual Try-on Network(2018) [code]VITON 效果网络结构人的量化表示人姿态热图人的姿态用18个关 ...
html5虚拟试衣,Trylive Clothing虚拟试衣系统打造属于你个人的魔法试衣间
女士们逛街的时候有没有试过看中了很多件衣服,可是却不好意思跟售货员说你全部也想试上身? 或许你根本也没有这么多时间把所有衣服的换上? 科技改变生活,也改变我们的购物习惯.从前我们于实体店购物,到近几年 ...
虚拟试衣-DiOr论文解读
文章目录创新点算法全局流场估计分割编码身体表征姿态编码损失函数训练过程实验姿态迁移评估消融实验 Tucking in Garment layering Content remov ...
【虚拟试衣论文笔记】C-VTON: Context-Driven Image-Based Virtual Try-On Network
论文地址:https://openaccess.thecvf.com/content/WACV2022/papers/Fele_C-VTON_Context-Driven_Image-Based_Vi ...

2D虚拟试衣——服装变形