Label Matching Semi-Supervised Object Detection

https://github.com/hikvision-research/SSOD

Motivation

label mismatching导致 confirmation bias
从分布级标签错配问题的角度来看，由于数据的类别分布不平衡，使用单一且固定的置信阈值来生成无偏倚的伪标签来匹配类分布一致的地真标签是极其困难的。

Method

Re-distribution Mean Teacher.
假设标记数据是通过蒙特卡洛抽样从整个数据库中选择的。这样，未标记数据的标签分布就可以近似于已标记数据的标签分布。利用自适应标签分布感知置信阈值(ACT)为未标记数据生成无偏倚的伪标签，由标签数据中的标签分布监督。
通过最小化已标记数据和未标记数据之间的类分布差异来获得自适应阈值

n_{i}^{l}为标注数据中第i类的框号，C为整个前景类号，pj i为第j张未标注图像中第i类的预测得分列表，f -f为前景类分布，f -b为前景背景比。
Nl代表label数据的数量，Nu代表unlabel数据的数量
tc是优化后的变量，也就是过滤第c类伪框的置信阈值，确定为:

其中P sort c是第c类的预测得分列表，按降序排序。
Proposal Self-Assignment.
根据置信度分值将伪标签分为可靠标签和不确定标签。将可靠标签视为与监督方式相同的硬标签用于模型优化，而通过提出的自分配方法利用不确定标签进行软学习
the proposals from the student are injected into the teacher for proposals correction, which can provide corresponding soft labels to rectify each proposal accordingly.
α%为预定义的可靠伪标签比例，则过滤第c类可靠伪标签的置信度阈值tr c为:

将置信度大于tr c的伪标签作为硬标签，对学生模型进行监督优化。其余不确定的被视为软学习的软标签。
an instance-level label mismatch problem
例如，假设IoU重叠度大于0.5的建议优化为相同的不确定伪标签，经过ROIHead的细化，它们在分类得分上趋于相同，但在本地化上趋于不同。这些改进的建议对于NMS后处理的行为没有区别，这会使NMS混淆，从而随机抑制冗余的bbox
利用与学生生成的不确定的伪标签匹配的proposal，提取教师对应的特征，然后将这些特征输入教师的ROIHead，实现 refined boxes。
与基于IoU的标签分配不同，学生的每个proposal都使用教师模型的ROIHead细化的相应软标签进行self-training，最后在分类分数上有所不同，避免了NMS的混淆。这样，我们通过软分类损失来优化带有不确定伪标签的学生模型
在这里插入图片描述
其中np为与不确定伪标签相匹配的对应proposal个数，C为类别数，ps i, C为学生模型中第i个proposal中第C个类别的概率，pt i, C为与ps i, C相匹配的教师模型中对应的软标签。结合重新分配的平均教师和伪标签的proposal self-assignment，无监督损失重新表述为:

其中yui和yuu I分别表示可靠伪标签和不确定伪标签。
Reliable Pseudo Label Mining.
为了鼓励自训练过程中的正反馈，我们引入了一种可靠的伪标签挖掘(RPLM)策略来进一步提高性能，旨在以课程的方式将高质量的不确定伪标签转化为可靠的伪标签。
提出了两个评价指标:mean score和mean IoU，即该集合相邻框在NMS后与对应边框匹配的平均分类得分和IoU
均值大于Tscore的不确定伪标签和均值IoU大于Tiou的不确定伪标签就会被转化为可靠伪标签。