论文

（2020）Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification

4.1 主要贡献

提出UNRN网络用来估计伪标签的可信度。
提出了一种不确定度评估策略
根据不确定度作用于ID分类损失、三元损失和对比损失来减少一些不可靠伪标签的影响。

4.2 贡献详情

UNRN

这个结构比较复杂，可以根据图示的三条线来捋清楚逻辑，分别是source forward propagation、Target forward propagation、Back propagation。
首先在源域训练好reid模型，分成两个对应图中的绿色和蓝色的resnet50，并且对目标域进行预测后对目标域进行标注，这个得到的叫伪标签，伪标签由于域间隙肯定存在很多噪声。
拿到训练好的模型和标注后，将源域和目标域的图像送入教师网络，也就是图上的蓝色的resnet50部分，通过网络提取特征后，送入不确定性计算的模块中得到一个不确定性数值。

将这个不确定数值经过处理降低对应伪标签对loss的影响：

再看下面绿色的resnet分支是怎么计算loss的，首先源域送进来的图片计算一个source id loss，然后对目标域数根据之前标注的伪标签计算ID loss、Triplet loss、对比损失。计算结果和上面分支拿到的不确定性值做处理减少噪声伪标签的影响。然后把这四个loss反向传播更新学生模型的参数。更新完学生模型参数后根据mean teacher的原理，在学生模型上根据参数滑动平均来更新教师模型的参数（因此教师模型的参数没有经过反向传播来更新）。
mean teacher详情可以移步：https://blog.csdn.net/u013562700/article/details/84936966

不确定性评估

图示是不确定性评估的结构，因为不好打符号将蓝色的特征叫fb，绿色的特征叫fg，图示将fb和fg分别和目标域的中心以及源域的中心拼接的矩阵做矩阵乘得到特征Pi然后对两个Pi进行KL散度计算得到最后的不确定性值ui。
KL散度移步：https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E7%86%B5/4233536?fromtitle=KL%E6%95%A3%E5%BA%A6&fromid=23238109&fr=aladdin

LOSS设计

KL散度计算得到的ui这个数值越大说明两个向量差异越大，因此要减少对应的loss可以简单的对loss乘上系数 ωi = 1/ui，作者根据论文(Kendall and Gal 2017)把wi定义成ωi = exp(-ui)为了更稳定的训练。
得到ωi后分别对ID loss、triplet loss、对比损失进行一下处理：
ID loss：

这个比较简单就是对交叉熵损失直接乘上了这个系数。
triplet loss：

这里有点理解不了，这个公式是softmax，为什么叫三元损失？？？是不是作者写错了。但是这个公式不难理解，ωjap就是正样本对应的不确定性值，然后ωjap * exp(sjap)就是这个不确定性值乘上对应的正样本的值降低噪声样本的影响。
对比损失：

没太看懂…先贴上论文解释：

正则化损失：

为了防止较大的不确定性值
完整的loss：

4.3 论文效果

Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification相关推荐

Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification论文解读
论文收录于 AAAI2021 论文地址:https://arxiv.org/abs/2012.08733v2 动机利用伪标签聚类容易产生错误的或噪声标签. 思路提出一个探索样本不确定性的方法--在 ...
Domain Adaptive Object Detection for Autonomous Driving under FoggyWeather（翻）
Title:Domain Adaptive Object Detection for Autonomous Driving under FoggyWeather 雾天环境下自动驾驶领域自适应目标检测 ...
Domain Adaptive在无监督语义分割上的应用
介绍几个域适应在分割上的比较好理解的应用: 不了解Domain adaptive可以先看看简介:https://blog.csdn.net/qq_33278461/article/details/90 ...
Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive Object Detector
参考Every Pixel Matters: Center-aware Feature Alignment for Domain Adaptive - 云+社区 - 腾讯云摘要域适配目标检测旨在将 ...
Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation
Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation Abstract 许多UDA的工作就是尝试通过各种中间空 ...
自步对比学习（Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID）
自步对比学习(Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID) 简介文章来源 ...
【ECCV 2020】Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-ID
JVTC 1 背景知识 1.1Person Re-Identification (ReID) 1.2 supervised person ReID Problem #2 Problem #3 1.3 ...
Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification
1.论文:Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification 2.代码: https:// ...
SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation
SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic Segmentation Abstract 之前的许多方法尝 ...
【TMI2023】Contrastive Semi-Supervised Learning for Domain Adaptive Segmentation Across Similar Anatom
Contrastive Semi-Supervised Learning for Domain Adaptive Segmentation Across Similar Anatomical Stru ...

Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification

论文