本文研究含噪声标签数据的训练，是目前该领域的SOTA。主要方法是：首先使用高斯混合模型，根据训练集每样本的损失函数值对样本进行分类，分为干净样本和噪声样本，把噪声样本作为无标签样本；然后使用半监督学习常用的协同训练法，即同时训练两个分歧网络，互相使用另一个网络的数据集划分结果工作，目的是避免被错分的样本在单一网络中形成“偏差确认”。该论文收录于ICLR2020，作者Junnan Li，工作单位salesforce。
论文地址：https://arxiv.org/abs/2002.07394
开源代码：https://github.com/LiJunnan1992/DivideMix

一、主要原理

主要原理如上图，同时训练两个同结构但不同参数的网络A和B。
第一步，在每epoch，使用混合高斯模型GMM对每个样本的损失值进行分类。这是因为神经网络对于干净标签和噪声标签会表现出不同的损失值，噪声标签的损失值更大，因此对损失值划定一个阈值即可区分干净标签和噪声标签，但是这个阈值并不能事前确定，需要使用某种聚类算法实现自动的分类，作者认为干净标签和噪声标签的损失值都应是服从各自不同的高斯分布，所以使用含2个组分的高斯混合模型即可分开。
这里复习一下GMM。GMM是一种聚类算法，用来对含有多个高斯分布的数据进行分类，一般使用期望最大（EM）算法来拟合其中每个高斯分布的参数，然后得到分类阈值进行分类。比如，男生的身高和女生的身高都分别服从一个高斯分布，通过计算后可以得到一个阈值1.6米，可以认为1.6米以下的都是女生，1.6米以上的都是男生。可见对于均值比较接近的高斯分布，GMM分类效果并不好。
为了更好的进行GMM分类，文中使用了一些tricks，如figure2所示，进行一定的预热，就是先训练10个epoch左右，加入了一个罚函数（使用负熵函数），可以发现干净标签和噪声标签的损失差别更明显一些；再经过DivideMix的多轮循环，这个差别会更加明显。

第二步，在每mini-batch，使用改进的MixMatch法训练，即两个网络的输出结果混合后再分别输入给两个网络继续训练。

二、优缺点分析

1.优点

根据作者的试验数据，本方法效果很好，比之前的方法有很大提升，噪声50%时比无噪声时精度没有太多下降，噪声80%时仍有相当高的精度。

2.缺点

根据我的试验，本方法对于噪声含量10%以下的低噪声情况效果反而下降很厉害。这是因为对于低噪声含量情况，两个类别的损失分布混在了一起，GMM无法有效识别出噪声样本，所以会把很多干净样本划分为噪声样本。也许调整一下GMM的参数会好一些，我没有进一步试验。

总结

我学习噪声标签问题的主要目的是基于之前做很多数据竞赛题时发现了不少人工标注错误问题，希望能够找到解决这些问题的好方法，然而看了好几篇论文之后并没有找到直接好用的方法，顶多是论文中的思想可供借鉴一下。本文算是标签噪声领域目前效果最好的，但是本文仅在噪声较高情况下才有用，对于噪声含量不超过20%的情况并不适用。

[论文学习]DIVIDEMIX:带噪声标签的半监督学习LEARNING WITH NOISY LABELS AS SEMI-SUPERVISED LEARNING相关推荐

[论文阅读笔记58]Learning from Noisy Labels with Deep Neural Networks：A Survey
1.题目 Learning from Noisy Labels with Deep Neural Networks: A Survey 作者团队:韩国科学技术院(KAIST) Song H , Kim ...
DivideMix: Salesforce提出使用半监督学习大幅改进含噪声标签的学习
点击我爱计算机视觉标星,更快获取CVML新技术分享一篇今天新出的论文DivideMix: Learning with Noisy Labels as Semi-supervised Learning ...
【论文学习】ICLR2021，鲁棒早期学习法：抑制记忆噪声标签ROBUST EARLY-LEARNING: HINDERING THE MEMORIZATION OF NOISY LABELS
论文来自ICLR2021,作者是悉尼大学的Xiaobo Xia博士.论文基于早停和彩票假说,提出了一种处理标签噪声问题的新方法.我就论文要点学习整理,目前还没有找到开源代码,我实现了一份在本文中给 ...
基于深度神经网络的噪声标签学习
本文分享自华为云社区<Learning from Noisy Labels with Deep Neural Networks>,原文作者:猜沟. Introduction: 神经网络的成 ...
噪声标签的负训练：ICCV2019论文解析
噪声标签的负训练:ICCV2019论文解析 NLNL: Negative Learning for Noisy Labels 论文链接: http://openaccess.thecvf.com/co ...
更少的标签，更好的学习，谷歌半监督学习算法FixMatch
点击我爱计算机视觉标星,更快获取CVML新技术本文向大家推荐谷歌前段时间发布的论文 FixMatch: Simplifying Semi-Supervised Learning with Consi ...
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
前言网络上很多关于此的文章,在这里进行一个梳理参考: https://zhuanlan.zhihu.com/p/33196506 https://zhuanlan.zhihu.com/p/1395 ...
半监督学习的概述与思考，及其在联邦场景下的应用（续）
关注公众号,发现CV技术之美上一文([科普]半监督学习的概述与思考,及其在联邦学习场景下的应用)中,我们主要介绍了半监督学习相关的基础知识.方法以及一些SOTA论文,接下来我们将从联邦学习结合半监督 ...
ECCV22 最新论文汇总（目标检测、图像分割、监督学习、GAN等）
强烈感谢极市平台提供的论文资源 ECCV 2022 已经放榜,共有1629篇论文中选,录用率还不到20%.为了让大家更快地获取和学习到计算机视觉前沿技术,作者对ECCV2022最新论文进行追踪,包括分 ...

[论文学习]DIVIDEMIX:带噪声标签的半监督学习LEARNING WITH NOISY LABELS AS SEMI-SUPERVISED LEARNING

一、主要原理

二、优缺点分析

1.优点

2.缺点

总结

[论文学习]DIVIDEMIX:带噪声标签的半监督学习LEARNING WITH NOISY LABELS AS SEMI-SUPERVISED LEARNING相关推荐

最新文章

热门文章