更少的标签，更好的学习，谷歌半监督学习算法FixMatch

点击我爱计算机视觉标星，更快获取CVML新技术

本文向大家推荐谷歌前段时间发布的论文 FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence ，该文提出了新的简单又有效的半监督学习算法FixMatch，结合伪标签（pseudo labeling）和一致性正则化（Consistency regularization）两种半监督学习方法，取得了显著的效果提升。

该文作者信息：

作者均来自谷歌研究院。

半监督学习算法，即利用少量有标签数据和大量无标签数据的机器学习算法，最近获得了大量关注。

如何利用无标签数据是半监督学习的关键，一种常见的学习策略，使用在少量有标签数据中训练的模型对大量无标签数据进行预测，使用预测的结果标签重新训练模型。该类方法被称为伪标签。

该文提出的方法，用下面这张图即可完全概括：

首先，使用有标签数据训练Model；

然后，对于无标签数据，将其进行弱数据增广（比如反转、拉伸、缩放等），然后交给Model预测，对于置信度高过某阈值的样本，使用one-hot编码打上伪标签；

最后，使用上述伪标签数据训练Model，此时对数据进行强数据增广（无监督数据增广UDA、Mixup等），使得训练后的模型对强数据增广的数据作出的预测与伪标签匹配，使用标准的交叉熵损失函数。

下表为FixMatch方法与其他半监督学习算法的比较：

下图为作者在CIFAR-10、CIFAR-100、SVHN数据上半监督学习分类结果：

相比以往的State-of-the-art，FixMatch取得了显著的精度提升，在仅使用40个标签数据（每类4个样本）时于CIFAR-10数据集上取得了88.61%正确率，在使用250个标签数据（每类25个样本）时取得了94.93%正确率。

在STL-10数据集上，同样取得了精度提升：

作者又做了一个极端的实验，CIFAR-10数据集每类仅用 1 个标签样本，仍然取得了78%正确率。

作者针对学习策略、数据增广策略等做了很多消融实验，欢迎阅读原论文。

总之，该文提出的方法简单又有效，将有助于半监督学习投入更多实用场景，代码已开源，欢迎大家继续研究。

论文地址：

https://arxiv.org/abs/2001.07685

代码地址：

https://github.com/google-research/fixmatch （官方）

https://github.com/kekmodel/FixMatch-pytorch （非官方）

在我爱计算机视觉公众号后台回复“FixMatch”，即可收到论文下载地址。

更少的标签，更好的学习，谷歌半监督学习算法FixMatch相关推荐

精要主义：更少但要更好
精要主义:更少但要更好不是提倡做更多的事,而是做对的事时间只用于有意义的事: -克服根深蒂固的想法:我必须做,我都要完成,我能二者兼顾 -我选择做,我可以做任意而不是所有的事,只有小部分的事是重要 ...
Quality Over Quantity: 更少一些，更好一些_第1页_福布斯中文网
Quality Over Quantity: 更少一些,更好一些_第1页_福布斯中文网 Quality Over Quantity: 更少一些,更好一些_第1页_福布斯中文网 Quality Over ...
NIPS'22 | USB: 统一、任务多样化、对学术界更友好的半监督学习算法库
每天给你送来NLP技术干货! 来自:王晋东不在家当使用监督学习(Supervised Learning)对大量高质量的标记数据(Labeled Data)进行训练时,神经网络模型会产生有竞争力的结果 ...
主动学习与半监督算法结合在支付宝风控的应用
以下内容均来自互联网,系笔者汇总并总结 2018蚂蚁金服ATEC大赛 1 .赛题任务描述在金融行业中,风控系统与黑产的攻防几乎是无时不刻的存在着,风控系统中用来实时识别风险的机器学习模型需要在黑产攻 ...
深度学习入门 --- 自我学习与半监督学习
该章节参考ufldl 1.什么是自我学习(Self-Taught Learning)与半监督学习首先,什么是半监督学习?当你手头上拥有在大量未标注数据和少量的已标注数据,那这种场景就可以说是半监督学 ...
机器学习主动学习和半监督学习
一.主动学习(active learning) 学习器能够主动选择包含信息量大的未标注的样例并将其交由专家进行标注,然后置入训练集进行训练,从而在训练集较小的情况下获得较高的分类正确率,这样可以有效的 ...
qml 时间控件_Qt6官方最新消息：桌面样式Qt quick Controls 2支持大多控件，委托更少，运行更流畅...
Qt是一个跨平台框架,通常用作图形工具包,它不仅创建CLI应用程序中非常有用.而且它也可以在三种主要的台式机操作系统以及移动操作系统(如Symbian,Nokia Belle,Meego Harmat ...
Qt6官方最新消息：桌面样式Qt quick Controls 2支持大多控件，委托更少，运行更流畅
Qt是一个跨平台框架,通常用作图形工具包,它不仅创建CLI应用程序中非常有用.而且它也可以在三种主要的台式机操作系统以及移动操作系统(如Symbian,Nokia Belle,Meego Harmat ...
【深度学习】半监督学习入门：伪标签学习和无监督SVM
一.半监督学习 1-1.什么是半监督学习让学习器不依赖外界交互.自动地利用未标记样本来提升学习性能,就是半监督学习(semi-supervised learning). 要利用未标记样本,必然要做一 ...

更少的标签，更好的学习，谷歌半监督学习算法FixMatch

更少的标签，更好的学习，谷歌半监督学习算法FixMatch相关推荐

最新文章

热门文章