《Neural Pose Transfer by Spatially Adaptive Instance Normalization》

概括：对identity mesh 做pose transfer, 实际上是让提供目标pose的human mesh 学到identity的style。关键在于要让生成的mesh的点的顺序和identity mesh的一致而不是pose mesh。

传统的做法是学习在同一个pose下，不同identity style 之间的correspondence，利用correspondence 去算displacement。

做法：这里用PointNet提取点的特征，把每个vertex当做一个point , 但是注意，mesh和point cloud还是不同的，在mesh里我们还需要考虑face，也就是每个面上的顶点，点与点的连接方式会影响我们的最后结果。

input data中包含identity mesh和pose mesh，用mesh = pymesh.load_mesh读出来是(6890,3) ，也就是6890个点，3通道代表坐标，mesh.faces 还可以得到这个human body的面（13776，3），一共13776个面，这里的3通道指的是组成一个面的3个连接点的index。

对于pose_mesh，文章里用到两种处理方式，这里贴出代码可以直观一点。

class PoseFeature(nn.Module):def __init__(self, num_points = 6890):super(PoseFeature, self).__init__()self.conv1 = torch.nn.Conv1d(3, 64, 1)self.conv2 = torch.nn.Conv1d(64, 128, 1)self.conv3 = torch.nn.Conv1d(128, 1024, 1)self.norm1 = torch.nn.InstanceNorm1d(64)self.norm2 = torch.nn.InstanceNorm1d(128)self.norm3 = torch.nn.InstanceNorm1d(1024)### torch.nn.InstanceNorm1d [N,C,L] -> [N,C,L]self.num_points = num_pointsdef forward(self, x): # B, 3，6890x = F.relu(self.norm1(self.conv1(x)))x = F.relu(self.norm2(self.conv2(x)))x = F.relu(self.norm3(self.conv3(x)))
############# model_maxpoolx,_ = torch.max(x, 2) #归一化 B 1024 1x = x.view(-1, 1024)x = x.view(-1, 1024, 1).repeat(1, 1, self.num_points)  # B 1024 6890return x

一种处理方式是在### model__maxpool 上面就结束了，在这一步就把x=F.relu(xxx) 作为最终结果return，一种处理方式是加上下面三行代码，用torch.max 先对dim=2 归一化，然后再复制6890个，这样子做应该是为了证明无论所有点的Order如何，都不影响最终的结果，因为都是取最大的那个点再复制。

需要注意的是，不同于我们在图像上做2维卷积，会对图像的大小进行改变，随着叠加卷积层，特征图会越来越小（如果不考虑Padding的话），而在3d上做1维卷积，用的都是kernel=1的卷积核，不会改变大小，整个过程只改变了通道数。

后面的decoder是参考图像上spade的方法，之前也有介绍过，就不详述了。

《Neural Pose Transfer by Spatially Adaptive Instance Normalization》相关推荐

AdaIN - Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
AdaIN 是一个经典的风格迁移方法,之后在 StyleGAN(v1) 中也以重要的组成模块出现.了解 AdaIN 也有助于了解其他图像生成工作. 原始论文:Arbitrary Style Trans ...
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization论文阅读笔记
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization论文阅读笔记目录 Arbitrary Style ...
AdaIN(Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization)——论文阅读
1. Introduction 在这篇文章中,作者提出了一种简单但是有效的方用来首次实现任意样式的实时风格转换,方法的核心是加入了一个adaptive instance normalization ( ...
【风格迁移】Adaptive Instance Normalization（AdaIN）
前言近几年人脸属性迁移的课题不再是单纯地做跨域迁移,还要考虑迁移后的多样性(mutil-modal),因此这个方向开始跟风格迁移相结合.结合我最近看过的几篇论文,发现它们都使用了同一个零部件--Ad ...
《PANet：Path Aggregation Network for Instance Segmentation》论文笔记
代码地址:PANet 1. 概述导读:这篇论文是港中文大学与腾讯优图实验室联合发表的论文,其中提出神经网络中信息的传输是很重要的,由此提出了PANet的网络模型,增加了Bottom-up的金字塔特征 ...
Instance Normalization
最近在看论文<Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization>,发现里面提到了 Ins ...
神经风格迁移综述论文分享(neural style transfer review)
本文是论文的"神经风格迁移模型综述"简要总结和一丢丢笔者自己的理解,该论文发表于<计算机工程与应用> 当前主流方法主要可分为以下几类方法: 基于图像迭代的慢速神经风格迁 ...
【论文学习笔记】《An Overview of Voice Conversion and Its Challenges》
<An Overview of Voice Conversion and Its Challenges: From Statistical Modeling to Deep Learning&g ...
读后感和机翻《人类因果迁移:深度强化学习的挑战》
研究朱松纯FPICU体系的第1篇文章 <Human Causal Transfer: Challenges for Deep Reinforcement Learning>CogSci 2 ...

《Neural Pose Transfer by Spatially Adaptive Instance Normalization》

《Neural Pose Transfer by Spatially Adaptive Instance Normalization》相关推荐

最新文章

热门文章