[行人重识别论文阅读]Fine-Grained Shape-Appearance Mutual Learning for Cloth-Changing Person Re-Identification

论文地址
论文代码：暂无

文章思想

在上篇文章中我们引入了sketch（行人轮廓图）的思想去解决换衣问题，但是我们会在实践中发现sketch的优劣性严重影响了最后实验结果的好坏。此篇论文的核心思想就提高行人轮廓图的图片质量。

利用行人标签提高轮廓图质量

想法很简单就是如果该行人轮廓图能够正确的预测出行人的标签，那么其行人轮廓图的质量就会非常不错。

下述公式描述了如何提取行人的轮廓:
我们首先利用下述公式获得行人的掩码,I为输入图像,Θm为网络的参数,Fm为语义解析网络,这样我们得到的就是行人的掩码M

之后将得到M投入到Fs中得到轮廓特征, Θs为Fs的参数

虽然这种方法很好但是会出现一个问题：

如上图的(c）所示除了轮廓以外的其它细节也被引入，其它细节虽然会提高模型的预测准确率但是我们只是想要行人的轮廓，所以我们需要对其额外处理：

M^ 就是一开始的预训练模型，没有经过上面损失进行训练的，由于没有经过上面损失的训练，虽然他在轮廓方面不够细节与完整，但是却不会引入轮廓以外的东西。

所以我们就需要优化Fm网络，如上述公式（4）让M与M^距离距离更近即使损失函数更小来优化Fm。

姿势与行人轮廓

通过上述的方法我们得到了高质量的行人轮廓，但是无论这个轮廓有多么完美，同一个人的不同姿势轮廓肯定是不相同的，所以我们要更好的利用轮廓图就要去除姿势对轮廓图的干扰。

解决方法：同一个姿势的轮廓图用一个网络处理

如上图所示我们首先提取人体的关键点，根据关键点我们利用聚类算法将图片分成三个组，利用聚类的结果我们为每个轮廓图添加伪标签。

有了伪标签之后，我们首先将轮廓图通过一个特征提取网络，这个网络一共有4个block，block1，block2，block3，在block4的时候，我们上面提过同一个姿势的轮廓图用同一个网络去处理，现在一共有三种姿态，所以我们分为3个block4，每个block4处理一种姿势，而轮廓图具体经过哪个block就是根据伪标签来定

那么最终的结果就是由三个block4的结果得出，值得注意的是，这个权重是对应姿势的block4为1，其余全为0，实质上就是只有一个block4的结果。

这样得到的特征向量是一个去除姿势影响，能够明确判别行人的高质量轮廓图

得到外观特征

上述我们求得的特征实际上是行人的形状特征，我们为了提高最终识别行人的准确率，我们同时引入了学习外观特征，例如学习头肩特征，步态特征等

下图红框部分即是我们求外观特征的网络

这部分就很简单了就是利用4个block不断提取特征后加上Id损失和三元组损失，这样就能提取到与衣服无关的特征（因为数据集是换衣数据集，降低损失就是在不断提取与衣服无关的特征）

外观特征与形状特征的融合学习

为了融合两种特征的学习，我们提出了dense interactive mutual learniing

而对于这个共同学习我们提供了两种方式：

相似度矩阵的共同学习

损失函数：
公式中 Sia代表形状分支得到的相似度矩阵
公式中 Sjs代表外观分支得到的相似度矩阵

而我们的损失函数就是让两个矩阵更加接近（即这样就是使同一个人的形状特征和外观特征同时考虑进去，因为两者得到的相似度较近就说明两者判断的应该是一个人）

概率分布的学习

我们上文说过利用标签判断趋于一致是一种很好的方法，所以我们使用上这个思想，比较两种特征在概率分布上的一致性

下述的计算方式我们称为相对熵

它的概念：
它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在相同事件空间里，概率分布P(x)的事件空间，若用概率分布Q（x）编码时，平均每个基本事件（符号）编码长度增加了多少比特。我们用D（P||Q）表示KL距离，计算公式如下：

那么我们的目的就是让两者的概率分布更加接近（即ps与pa相互更加接近）
如下公式除了引入（10）中ps相对与pa的关系我们又引入了pa相对于ps的关系。
这样我们发现两者的概率分布越接近，其损失函数就会越趋于0.

我们将两个损失函数共同运用起来就完成了我们共同学习的过程

博客参考

https://zhuanlan.zhihu.com/p/393732836
https://blog.csdn.net/scw1023/article/details/59109922