关于Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification 论文理解
论文连接https://arxiv.org/abs/1904.01990
代码：https://github.com/zhunzhong07/ECN
目录
1.文章卖点：
2.研究背景
3.研究方法
3.1总体叙述
3.2 网络框架及损失函数
1.文章卖点：
1.引入了存储器的概念，比较新颖
2.将监督学习和无监督学习相结合
2.研究背景
行人再识别面临的三个特殊问题：
1）源域数据和目标域数据集类别不同
2）相机风格变化导致的图片差异不同
3）仅考虑源域和目标域之间的整体域间的差异，忽略了目标域的域内变化。
传统的方法主要是减少源域和目标域之间的特征分布差距。然而，这些研究在很大程度上忽略了目标域中的域内变化，其中包括影响目标域上的测试性能的关键因素。
前两个问题作者在以前的论文中HHL中介绍了。https://link.springer.com/chapter/10.1007%2F978-3-030-01261-8_11
3.研究方法
3.1总体叙述
本文主要解决了第三个问题，全面研究了目标域的域内变化，并基于域内不变性提出了可行的模型泛化方法，引入了记忆模块用以存储目标数据在训练过程中的中间特征。
作者将将re-id模型概括为三种类型的基础不变性，即：样本不变性、相机不变性、邻域不变性。
Memory 的两个作用：其一是，用于存储在训练过程中所有目标图像的特征，可以快速的计算目标域中局部样本和源域全局样本的相似性；其二是，可以有效的在模型训练中加入提出的三个不变性限制。三个不变性性质对提升域适应的性能是不可或缺的。
这个结构是非常好的。
本文主要研究了域内变化和三个不变性。
其中域内变化针对的是目标域；（目标域和源域的类完全不同）
三个不变性：样本不变性：强制将每个人的样本靠近自身并远离他人来学习未标记目标数据的明显相似性
相机不变性：相机风格的变化可能会改变人的外表，然而通过相机风格转换生成的图片仍然是属于原ID。考虑这一点，在假设人物图像和相应相机风格转换图像应该靠近彼此的情况下强制执行相机不变性。
邻域不变性：假设已经提供了在源域和目标域上训练好的re-id模型，目标域上的目标样本及其邻域可能具有相同的ID，考虑这一问题，将样本及其可靠地邻域彼此接近来实施邻域不变性。
这三个不变性主要是靠三个损失函数来解决的。
3.2 网络框架及损失函数
网络包括两个分支，蓝色分支是有标签的source数据库，对应监督学习，利用softmax计算分类损失（利用交叉熵损失来计算源域的损失）；橙色分支对应无标签的target数据库，对应无监督学习（有三个损失函数对应三个不变性）用Memory用作存储功能为每个目标保存FC-4096层的最新输出，通过估计mimi-batch中的目标样本与样本存储器中保存的整个样本之间的相似性来计算目标域的不变性学习损失。将两个分支的损失加权相加，使两个分支可以同步对网络进行训练。
Baseline:
作者使用的是ImageNet上进行预训练的ResNet-50作为网络骨干。具体来说，将ResNet-50层保留到Pooling-5层作为基础网络，并在pooling-50层之后添加4096维的全连接层（FC）.新的FC层名为Fc-4096,后面接着是批量标准化、Relu、Dropout.
第一条支路我们使用的是交叉熵损失用于优化网络：
它的目地就是对于给定类别的图片训练出对ID敏感的嵌入，就是把行人再识别当做分类任务来做。
样本记忆模块主要是在反向传播是利用
更新样本存储器的密钥特征。
样本不变性：
将样本Nt目标图像视为Nt不同的类，并将图像分类为自己的类。给定目标图像Xt,i ,我们首先计算其特征与Memory存储器中保存的特征之间的余弦相似度，然后使用softmax函数计算xt,i 属于该类的预测概率：
对应的损失函数为：
相机不变性：
对于相机不变性的直观理解，就是同一个人不管用哪个相机拍摄图片，网络都应该识别的出来。本着这一思想，可以想到使用GAN把一张图片转换成多张图片的风格。
作者采用的是starGan（CycleGAN只能实现两两之间的转换而StarGAN则可以实现一到多个领域之间的转换）。
作者选择的是目标域的图片，目标域存在C个相机，作者对于每个图片学习生成了C中风格（其中有一张对应自己相机风格）。对应的损失函数为：
邻域不变性：
对于每个目标图像，目标数据中可能存在许多正样本。如果我们可以在训练的过程中利用这些正样本，我们就能够进一步提高模型在克服目标域变换方面的鲁棒性。为了实现这个目标，首先计算了f(Xt,i)与存储在密钥存储器k 中的特征之间的余弦相似度，然后在K中找到其K-最近邻域，并将他们的索引定义为M(Xt,i ,k ).在假设目标图像Xt，i 应属于M(Xt,i ,k ).中选类的情况下，我们将邻域不变性赋予网络。
其概率权重：
领域不变性的目标被表述为软标签损失：
总体失去不变性：
通过联合考虑样本不变性、相机不变性、邻域比变性，对目标训练图像的不变性学习的整个损失可以写成：
通过结合源域和目标域的损失，网络的最终损失表示为：
实验部分才用了消融实验的方法对文章提出的方法进行测试。
关于Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification 论文理解相关推荐
- Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification
1.论文:Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification 2.代码: https:// ...
- [Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification 魔改代码
最近在看这篇文章,以及试着整改代码,按照最初的github设定,跑出来的性能和论文中是一样的,由于论文说了使用camstyle 后的生成图片,我就在想,如果不用这个部分会怎样,我就取消了使用这个数据, ...
- Invariance Matters: Exemplar Memory for Domain AdaptivePerson Re-identification
1 Introduction 该文献针对UDA应用于re-ID任务上主要通过减少图像级或属性特征级上源域和目标域之间的差距来解决个人识别中的问题,存在忽略目标域的域内变化.在本研究中,作者研究了三种基 ...
- [行人重识别论文阅读]Invariance Matters: Exemplar Memory for Domain AdaptivePerson Re-identification
论文链接:https://arxiv.org/abs/1904.01990 代码:https://github.com/zhunzhong07/ECN Abstract 1.传统的无监督方法只关注于缩 ...
- 自步对比学习（Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID）
自步对比学习(Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID) 简介 文章来源 ...
- 【ECCV 2020】Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-ID
JVTC 1 背景知识 1.1Person Re-Identification (ReID) 1.2 supervised person ReID Problem #2 Problem #3 1.3 ...
- Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive Object Detector
参考Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive - 云+社区 - 腾讯云 摘要 域适配目标检测旨在将 ...
- SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation
SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation Abstract 之前的许多方法尝 ...
- CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
CVPR2022自适应/语义分割:Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation用 ...
最新文章
- 计算机导论简答芯片,吉大计算机 - 计算机导论简答题 (2011级)
- pandas使用apply函数：在dataframe数据列(column)上施加（apply）函数
- 理解 JavaScript 作用域和作用域链
- .net 使用 Aspose.Words 进行 Word替换操作
- [转]【无私分享：ASP.NET CORE 项目实战（第十四章）】图形验证码的实现
- GM6 1.38.1 start up debug - share memory
- 卢伟冰直播拆机 或是性价比最高的骁龙855手机
- VB:将数字转换为大写中文
- CentOS 通过yum来升级php到php5.6，yum upgrade php 没有更新包怎么办？
- tomcat开启远程调试
- 可能最详细的教程，新手如何获取Zcash钱包（ZEC）官方地址的方法
- 白杨SEO：QQ群SEO是什么？QQ群排名如何做引流与营销？【举例】
- 为什么有人会说「感谢拼多多」，让一贫如洗的我还能活下去?
- 我要偷偷的学Python，然后惊呆所有人（第二天）
- 微信公众号红包营销系统开发
- C语言入门习题系列二（含答案）
- AI路径查找器的使用
- 蓝桥杯算法训练—关联矩阵
- Java学习笔记：web2
- Unity -- 预制体与变体