FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence, NIPS, 2020
要点：
1、首先，基于 “弱增强的未标记样本的模型预测” 生成伪标签；接着，对于给定的样本，只有模型预测的置信度高时，伪标签才会被再训练；最后，通过输入同一样本的强增强版本进行伪标签预测的训练；
2、SSL方法：为未标记图像生成一个人工标签，并将未标记图像作为输入训练模型来预测人工标签；
（1）伪标签：即self-training，使用模型生成的类预测作为人工标签；
（2）一致性正则化：随机修改输入或模型的函数后，利用模型的预测分布获得一个人工标签；
主流方法：两个方向上加上日益复杂的机制
3、本文的方法：一致性正则化+伪标记
（1）人工标签基于弱增强的未标记样本产生，并进一步作为将同一样本的强增强版本做输入时的 target；
（2）弱增强：翻转、移位
（3）强增强：Cutout、CTAugment、RandAugment，产生给定图像的严重扭曲版本
（4）伪标记：仅当模型预测出某个高置信度的类别时才保留人工标签
主要创新点：一致性正则化和伪标记的结合，并且在执行一致性正则化的时候，使用单独的弱增强和强增强
相关工作
一致性正则化：
1、基于“输入同一图像的扰动版本，模型应输出相似的预测”这一假设，利用未标记样本；
2、模型基于以下的损失函数，联合标准的监督分类损失和未标记数据进行训练；
伪标记：
1、基本思想：利用模型本身为未标记数据打上伪标记的人工标签；
2、使用硬标签(the argmax of the model's output)作为伪标记的人工标签；
3、再训练最大类别概率大于预定阈值的人工标签；
图表：
FixMatch的流程图：
1、将弱增强图像输入model获得预测；
2、预测概率高于阈值，预测转化为one-hot的伪标签；
3、将强增强图像输入model获得预测；
4、模型训练目标：强增强版本通过交叉熵损失match伪标签。
代码：
https://github.com/google-research/fixmatch
FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence相关推荐
- 解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
还是Google research出品 论文:https://arxiv.org/abs/2001.07685 官方代码:https://github.com/google-research/fixm ...
- 图构造总结-Graph‑based semi‑supervised learning via improving the quality of the graph dynamically
前言 本博文主要对论文中提到的图构造方法进行梳理,论文自己提出的模型并未介绍,感兴趣的可以阅读原文 摘要 基于图的半监督学习GSSL主要包含两个过程:图的构建和标签推测.传统的GSSL中这两个过程是完 ...
- [半监督学习] FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
FixMatch 是对现有 SSL 方法的简化. FixMatch 首先对弱增强的未标记图像生成伪标签, 接着, 对同一图像进行强增强后, 再计算其预测分布, 最后计算强增强的预测与伪标签之间的交叉熵 ...
- A brief introduction to weakly supervised learning（简要介绍弱监督学习）
文章转载自http://www.cnblogs.com/ariel-dreamland/p/8566348.html A brief introduction to weakly supervised ...
- ML之SL：监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
ML之SL:监督学习(Supervised Learning)的简介.应用.经典案例之详细攻略 目录 监督学习(Supervised Learning)的简介 1.监督学习问题的两大类-分类问题和回归 ...
- 【论文导读】- Link Weight Prediction Using Supervised Learning Methods（使用监督学习方法的链路权重预测及其在Yelp网络中的应用）
文章目录 论文信息 摘要 主要内容(contributions) 图模型和评价指标 特征指标 原图特征指标 原始图转线图 线图特征指标 论文信息 Link Weight Prediction Usin ...
- 监督学习（supervised learning）与非监督学习（unsupervised learning）
一,监督学习(supervised learning): 监督学习(supervised learning)的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测. 即:利用 ...
- Self -Supervised Learning
Self -Supervised Learning 个人学习笔记: BART使用了MASS中的所有方法(五种),结果表现更好 实验:将DNA表示中的A.T.C和G随机赋英文单词,将每个类别组成一个文本 ...
- INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity
INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity 1. Supervised Learning 1.1 不同的损 ...
最新文章
- mysql 减小时_如何优化我的mysql和查询？！减少查询时间？
- Linux 跟踪进程对CPU的占用情况，对内存的占用情况
- java 编程题_最新JAVA编程题全集(50题及答案)92862
- Go 语言真是现在进大厂的捷径？
- Photoshop修复和合成梦幻人物
- 计算机网络class2（标准化工作及相关组织）
- Spring官网改版后下载
- eval函数python_Python eval（）函数
- jquery常用遍历方法
- 初学objective c语言4 dealloc
- centos7 Samba服务安装和配置
- 高级软件工程2017第2次作业
- PHP set_error_handler() 函数
- 各类图像数据大集合（下载链接）
- 图像算法---头发检测算法研究
- hp 服务器硬盘背板 供电线,100元淘了一个HP 6位硬盘笼+背板+线，准备用旧机改一个DSM。...
- java程序模拟手机
- Matlab动画模拟分子布朗运动的示例
- Bert 论文中文翻译
- C++和opencv实现图像分割（二）