解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

还是Google research出品

论文：https://arxiv.org/abs/2001.07685

官方代码：https://github.com/google-research/fixmatch

主要贡献：（A+B=C的操作）

1.主要结合了pseudo label 和 consistency regularization（两种数据增强方式实现）方法。

2.在cifar10 利用250个标签样本实现了94.93%，利用40个标签样本实现了88.61%的SOTA.

整个Fix Match过程图：

首先利用一张无标签样本分别进行“弱”增强（翻转、缩放）和“强”增强（CutOut、CTAugment、RandAugment),然后通过model得到预测标签，通过标准交叉熵损失计算损失。

注意：上述“弱“增强方式预测过程需要设定一个阈值，大于阈值的才计算loss，小于的就不计算。相当于在前期训练阶段中无标签样本损失可能一直是为0的。

算法过程：

为了得到最优超参数，该文章后面对超参做了大量的消融实验，比如学习率，衰减率、学习率衰减函数、标签样本与无标签样本比例、动量、优化器选择、伪标签中用的阈值，包括sharpen中的τ。

优化器：

学习率衰减函数：

数据比例、置信度阈值、sharpen、衰减率：

最后经过对比得出来的结果：

实验结果：

这篇论文干货太少了。。。。。。。。。不过作者还是做了很多大量的消融实验。。。

解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence相关推荐

FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence, NIPS, 2020 要点: 1.首先, ...
图构造总结-Graph‑based semi‑supervised learning via improving the quality of the graph dynamically
前言本博文主要对论文中提到的图构造方法进行梳理,论文自己提出的模型并未介绍,感兴趣的可以阅读原文摘要基于图的半监督学习GSSL主要包含两个过程:图的构建和标签推测.传统的GSSL中这两个过程是完 ...
[半监督学习] FixMatch: Simplifying Semi-Supervised Learning with Consistency and Conﬁdence
FixMatch 是对现有 SSL 方法的简化. FixMatch 首先对弱增强的未标记图像生成伪标签, 接着, 对同一图像进行强增强后, 再计算其预测分布, 最后计算强增强的预测与伪标签之间的交叉熵 ...
A brief introduction to weakly supervised learning（简要介绍弱监督学习）
文章转载自http://www.cnblogs.com/ariel-dreamland/p/8566348.html A brief introduction to weakly supervised ...
ML之SL：监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
ML之SL:监督学习(Supervised Learning)的简介.应用.经典案例之详细攻略目录监督学习(Supervised Learning)的简介 1.监督学习问题的两大类-分类问题和回归 ...
【论文导读】- Link Weight Prediction Using Supervised Learning Methods（使用监督学习方法的链路权重预测及其在Yelp网络中的应用）
文章目录论文信息摘要主要内容(contributions) 图模型和评价指标特征指标原图特征指标原始图转线图线图特征指标论文信息 Link Weight Prediction Usin ...
监督学习（supervised learning）与非监督学习（unsupervised learning）
一,监督学习(supervised learning): 监督学习(supervised learning)的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测. 即:利用 ...
Self -Supervised Learning
Self -Supervised Learning 个人学习笔记: BART使用了MASS中的所有方法(五种),结果表现更好实验:将DNA表示中的A.T.C和G随机赋英文单词,将每个类别组成一个文本 ...
INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity
INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity 1. Supervised Learning 1.1 不同的损 ...

解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence相关推荐

最新文章

热门文章