论文阅读：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person

1、问题
跨模态行人重识别解决模态差异问题的传统方法是将不同模态的特性映射到一个共享子空间中提取与模态无关的共享的特征，后来出现了双流网络提取模态特有特征和共享特征，这种方式对于鉴别特征的提取更有效。但是这些跨模态行人重识别模型的baseline不够strong和effective，因此，本文提出了一些方法得到了更强的baseline。

2、思想
此前的工作中已经有使用双流网络的，但是还没有系统的研究双流网络应该共享多少参数，本文以ResNet-50为backbone，研究了共享多少参数使得双流网络的效果最好，最终选择后三个block共享参数提取共享特征；本文采用PCB切块的思想，将提取的共享特征图切块处理，对每一块计算loss监督，将所有块contact，得到global feature。最后本文改进了传统的triplet loss，采用hetero-center triplet loss，减小了传统loss的限制，能够很好地处理不好的样本。

3、方法
本文方法整体结构图如下，由双流网络、PCB和hc_triplet loss三部分组成。

3.1、Two-stream backbone network
此前双流网络已经提出，但是还没有讨论使用多少共享参数合适，本文对此做了研究。采用ResNet-50作为backbone，将ResNet-50分为五个阶段，做了对比实验，按下表的结构分配共享层个特定层：

3.2、Part-level feature extraction block
本文采用了切块的思想，对backbone提取的特征图进行切块处理，以获得part-level feature，然后将所有块pooling，再contact起来。不同于传统的mean pooling和max pooling，本文对于不同块的pooling采用的是GeM的方式，计算公式如下：

消融实验证明了GeM pooling的方式比mean pooling和max pooling的效果更好。

3.3、The hetero-center based triplet loss
传统的triplet loss对于每一个样本对计算loss，如果类内存在不好的样本，会对网络产生不好的影响，比如同一类但是并不相似的样本，或者不同类但是很相似的硬样本。因此，本文提出了hetero-center triple loss，即对于同一类样本取一个质心，然后使用质心样本去计算triplet loss，从而减小坏样本的影响，示意图如下图所示：

4、实验
消融实验证明了hc_triplet loss比传统的triplet loss和learning center loss更有效：

总结：本文没有太多的创新点，双流网络和PCB早有人提出，hc_triplet loss算一个创新点，但是从实验结果看，hc_triplet loss对于性能的提升并不多，本文的提点主要是PCB做了较大贡献。

论文阅读：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person相关推荐

2020 ArXiv之跨模态ReID：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-T
Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person Re-Id ...
论文阅读——《Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient》
论文阅读--<Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient> ...
[论文阅读] (07) RAID2020 Cyber Threat Intelligence Modeling Based on Heterogeneous GCN
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
论文阅读笔记（5）：Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering
论文阅读笔记(5):Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering,基于Oracle的可伸 ...
论文阅读 Safe Local Exploration for Replanning in Cluttered Unknown Environments
Safe Local Exploration for Replanning in Cluttered Unknown Environments 问题描述方法局部轨迹优化地图表示中间目标选择系 ...
[论文阅读]Bidirectional Machine Reading Comprehension for Aspect Sentiment Triplet Extraction
摘要方面情感三元提取(ASTE)旨在识别评论句子中的方面及其相应的意见表达和情绪,是细粒度意见挖掘中的一项新兴任务.由于 ASTE 由多个子任务组成,包括意见实体提取.关系检测和情感分类,因此适当地 ...
论文阅读笔记------iTM-Net: Deep Inverse Tone Mapping Using Novel Loss Function Considering TMO
Kinoshita Y, Kiya H. iTM-Net: Deep Inverse Tone Mapping Using Novel Loss Function Considering Tone M ...
【论文阅读】Unsupervised Learning of Image Segmentation Based on Differentiable Feature Clustering
文章目录摘要目标贡献点介绍相关工作经典方法深度学习基于用户输入的图像分割基于CNN的弱监督分割端到端的可微分割CNN 方法问题建模网络结构损失函数网络更新实验结果连续性 ...
论文阅读 - AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss
文章目录 1 概述 2 模型架构 3 模块解析 3.1 获取梅尔频谱 3.2 speaker encoder 3.3 AutoVC 3.4 Vocoder 4 关键部分参考资料 1 概述 voice ...

论文阅读：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person

论文阅读：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person相关推荐

最新文章

热门文章