Hetero-Center Loss for Cross-Modality Person Re-Identification阅读笔记

论文题目：Hetero-Center Loss for Cross-Modality Person Re-Identification
来源：Neurocomputing
动机：对于跨模态reid，大多数的研究都是关注于提高类间的特征差异去解决问题（也就是提高不同ID行人图片之间的差异型），而很少关注于跨模态问题中类内的相似性（跨模态同ID图片之间的相似性）。因此，本文作者着力于减少cross-modality问题中类内部的变化。
解决方法：1、Hetero-Center loss(HC loss)通过约束两种不同模态之间的类内中心距离来监督网络学习跨模态的不变信息。2、提出了一种高性能的网络结构Two-Stream Local Feature Network(TSLFM),第一次尝试学习跨模态的局部特征。
方法实现：

Hetero-Center Loss(HC loss)
跨模态的reid作为一种验证问题，通过计算从网络提取到的特征之间的相似性来匹配两个模态的pedestrian images。因此网络训练的目的就是扩大类间差异，提高类内跨膜相似性，也就是让特征尽可能的包含modality-shared information,以弥补两个模态之间的差异。交叉熵损失可以提取特定模态的特有特征进行ID分类，比如对RGB模态提取衣服的颜色信息。但是不同模态的颜色信息又不同，容易改变，而且提取颜色信息作为区分特征又和提高跨模态类内相似性的目的相悖，因此，和大多数传统的损失函数一样，交叉熵损失并不能满足提高跨模态类内相似性的要求。而这也就是本文HC loss所要达到的目的。

上图中，不同的颜色代表不同的ID，三角形圆形分别代表从两个模态提取到的特征信息，红色形状代表各自的特征中心。HC loss的目标就是减少同一ID特征中心之间的距离。公式如下：

其中C代表中心距离，U代表ID数。加上HC loss的实验效果如下：
Two-Stream Local Feature Network
借鉴了单模态reid中切分局部特征的方法，对两个模态都进行了局部特征的提取。

实验结果：

这篇论文中的HC loss函数考虑到跨模态类内相似性，缩小不同模态相同ID行人图片的特征差异，以达到更好的聚类效果。同时其网络模型借鉴单模态reid的局部特征方法，对每个模态进行局部特征的提取从而细化行人特征。以上便是这篇论文的两个主要工作。

Hetero-Center Loss for Cross-Modality Person Re-Identification阅读笔记相关推荐

Domain Adaptation for Object Detection using SE Adaptors and Center Loss 论文翻译
- 摘要: 尽管人们对目标检测的兴趣日益浓厚,但很少有工作能够解决跨域健壮性这一极其实际的问题,特别是对于自动化应用而言.为了防止域移位导致的性能下降,我们在faster-RCNN的基础上引入了一种无 ...
CV之FRec之ME/LF：人脸识别中常用的模型评估指标/损失函数(Triplet Loss、Center Loss)简介、使用方法之详细攻略
CV之FRec之ME/LF:人脸识别中常用的模型评估指标/损失函数(Triplet Loss.Center Loss)简介.使用方法之详细攻略目录 T1.Triplet Loss 1.英文原文解释 ...
facenet 中心损失函数（center loss）详解（代码分析）含tf.gather() 和 tf.scatter_sub()函数
我们来解读一下,中心损失,再来看代码. 链接:https://www.cnblogs.com/carlber/p/10811396.html 我们的重点是分析代码,所以定义部分,大家详情参见上面的博客 ...
深度学习中的损失函数总结以及Center Loss函数笔记
北京上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 NVIDIA 深度学习学院带你快速进入火热的DL领域阅读全文 ...
【人脸识别】Center Loss详解
论文题目:<A Discriminative Feature Learning Approach for Deep Face Recognition> 论文地址:http://ydwen. ...
Center Loss
<A Discriminative Feature Learning Approach for Deep Face Recognition> 可鉴别性的特征学习用于人脸识别,对每个类别 ...
Center Loss层
雷锋网按:本文作者祝浩(皮搋子狐狸),3M Cogent Beijing R&D 高级算法工程师.本硕分别毕业于哈尔滨工业大学机械专业和北京师范大学计算机专业,并于2012年加入3M.14年拿 ...
Center Loss的Pytorch实现
Center Loss的Pytorch实现开始结果在自己的项目中使用中心损失函数 Center Loss的Pytorch实现: Wen et al. A Discriminative Featu ...
卷积神经网络系列之softmax，softmax loss和cross entropy的讲解
我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...
softmax，softmax loss和cross entropy
我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等.虽然现在已经开源了很多深度学习框架(比如MxNet,Caf ...

Hetero-Center Loss for Cross-Modality Person Re-Identification阅读笔记

Hetero-Center Loss for Cross-Modality Person Re-Identification阅读笔记相关推荐

最新文章

热门文章