有监督学习和无监督学习_比监督学习做的更好:半监督学习
近期大热的半监督学习!
本文转载自:AI公园
作者:Andre Ye | 编译:ronghuaiyang注:文末附CV学习交流群。
导读
为什么半监督学习是机器学习的未来。
监督学习是人工智能领域的第一种学习类型。从它的概念开始,无数的算法,从简单的逻辑回归到大规模的神经网络,都已经被研究用来提高精确度和预测能力。
然而,一个重大突破揭示了添加“无监督数据”可以提高模型泛化和性能。事实上,在非常多的场景中,带有标签的数据并不容易获得。半监督学习可以在标准的任务中实现SOTA的效果,只需要一小部分的有标记数据 —— 数百个训练样本。
在这个我们对半监督学习的探索中,我们会有:
- 半监督学习简介。什么是半监督学习,它与其他学习方法相比如何,半监督学习算法的框架/思维过程是什么?
- 算法:Semi-Supervised GANs。与传统GANs的比较,过程的解释,半监督GANs的性能。
- 用例和机器学习的未来。为什么半监督学习会有如此大的需求,哪里可以应用。
半监督学习介绍
半监督学习算法代表了监督和非监督算法的中间地带。虽然没有正式定义为机器学习的“第四个”元素(监督、无监督、强化),但它将前两个方面结合成一种自己的方法。
这些算法操作的数据有一些标签,但大部分是没有标签的。传统上,人们要么选择有监督学习的方式,只对带有标签的数据进行操作,这将极大地减小数据集的规模,要么,就会选择无监督学习的方式,丢弃标签保留数据集的其余部分,然后做比如聚类之类的工作。
这在现实世界中是很常见的。由于标注是很昂贵的,特别是大规模数据集,特别是企业用途的,可能只有几个标签。例如,考虑确定用户活动是否具有欺诈性。在100万用户中,该公司知道有1万用户是这样的,但其他9万用户可能是恶意的,也可能是良性的。半监督学习允许我们操作这些类型的数据集,而不必在选择监督学习或非监督学习时做出权衡。
一般来说,半监督学习算法在这个框架上运行:
- 半监督机器学习算法使用有限的标记样本数据集来训练自己,从而形成一个“部分训练”的模型。
- 部分训练的模型对未标记的数据进行标记。由于样本标记数据集有许多严重的限制(例如,在现实数据中的选择偏差),标记的结果被认为是“伪标签”数据。
- 结合标记和伪标签数据集,创建一个独特的算法,结合描述和预测方面的监督和非监督学习。
半监督学习利用分类过程来识别数据资产,利用聚类过程将其分成不同的部分。
算法:Semi-Supervised GAN
半监督的GAN,简称为SGAN,是[生成对抗网络](https://medium.com/analytics-vidhya/gans-for-one -an-直觉解释-革命概念-2f962c858b95)架构的一个变体,用于解决半监督学习问题。
在传统的GAN中,判别器被训练来预测由生成器模型生成的图像是真实的还是假的,允许它从图像中学习判别特征,即使没有标签。尽管大多数人通常在GANs中使用训练很好的生成器,可以生成和数据集中相似的图像,判别器还是可以通过以转移学习作为起点在相同的数据集上建立分类器,允许监督任务从无监督训练中受益。由于大部分的图像特征已经被学习,因此进行分类的训练时间和准确率会更好。
然而,在SGAN中,判别器同时接受两种模式的训练:无监督和监督。
- 在无监督模式中,需要区分真实图像和生成的图像,就像在传统的GAN中一样。
- 在监督模式中,需要将一幅图像分类为几个类,就像在标准的神经网络分类器中一样。
为了同时训练这两种模式,判别器必须输出1 + n个节点的值,其中1表示“真或假”节点,n是预测任务中的类数。
在半监督GAN中,对判别器模型进行更新,预测K+1个类,其中K为预测问题中的类数,并为一个新的“假”类添加额外的类标签。它涉及到同时训练无监督分类任务和有监督分类任务的判别器模型。整个数据集都可以通过SGAN进行传递 —— 当一个训练样本有标签时,判别器的权值将被调整,否则,分类任务将被忽略,判别器将调整权值以更好地区分真实的图像和生成的图像。
虽然允许SGAN进行无监督训练,允许模型从一个非常大的未标记数据集中学习非常有用的特征提取,但有监督学习允许模型利用提取的特征并将其用于分类任务。其结果是一个分类器可以在像MNIST这样的标准问题上取得令人难以置信的结果,即使是在非常非常少的标记样本(数十到数百个)上进行训练。
SGAN巧妙地结合了无监督和监督学习的方面,强强联合,以最小的标签量,产生难以置信的结果。
用例和机器学习的未来
在一个可用数据量呈指数级增长的时代,无监督数据根本不能停下来等待标注。无数真实世界的数据场景会像这样出现 —— 例如,YouTube视频或网站内容。从爬虫引擎和内容聚合系统到图像和语音识别,半监督学习被广泛应用。
半监督学习将监督学习和非监督学习的过拟合和“不拟合”倾向(分别)结合起来的能力,创建了一个模型,在给出最小数量的标记数据和大量的未标记数据的情况下,可以出色地执行分类任务。除了分类任务,半监督算法还有许多其他用途,如增强聚类和异常检测。尽管这一领域本身相对较新,但由于在当今的数字领域中发现了巨大的需求,算法一直在不断地被创造和完善。
半监督学习确实是机器学习的未来。
英文原文:https://towardsdatascience.com/supervised-learning-but-a-lot-better-semi-supervised-learning-a42dff534781
CVer-学术交流群
建了CVer微信交流群!想要进计算机视觉学习交流群的同学,可以直接加微信号:CVer5555。加的时候备注一下:研究方向+学校+昵称,即可。然后就可以拉你进群了。
强烈推荐大家关注CVer知乎账号和CVer微信公众号,可以快速了解到最新优质的CV论文。
推荐阅读
NeurIPS 20 | RelationNet++: Transformer桥接视觉表示的目标检测
利用YOLOv4和Deep SORT实现多摄像头实时目标跟踪和计数(已开源)
NeurIPS 20 | 超越EfficientNet!TinyNet:玩转网络的分辨率,深度和宽度
涨点技巧!汇集13个Kaggle图像分类项目的性能提升指南
利用知识蒸馏改进目标检测:面向准确高效的检测器
使用深度学习从视频中估计车辆的速度(已开源)
ECCV 2020 | 旷视开源LabelEnc:提升目标检测的新型中间监督方法
这9个技巧让你的PyTorch模型训练得飞快!
牛津博士论文 | 学习重建和分割3D目标(143页PDF)
谷歌刚刚发布Objectron新数据集,可完美检测3D目标,超过4百万幅图像和15K视频剪辑!
综述 | MIT提出视频理解/行为识别:全面调研(2004-2020)
综述 | 基于无人机的目标跟踪的相关滤波器:全面调研
从三个维度加速你的CNN:全面的剪枝框架
Recall Loss:用于不平衡图像分类和语义分割的召回损失
即插即用!Rotate to Attend:卷积Triplet注意力模块
旷视提出MegDetV2:目标检测/实例分割系统
综述 | 基于深度学习的医学图像分割技术:全面调研
ResNet还是DenseNet?即插即用的DS涨点神器来了!
综述 | 基于深度学习的端到端人脸识别技术:全面调研
TBC:共享Thinner Filters,实现更强的CNN!
综述 | 行人检测技术(从手工特征到深度学习):全面调研
超越EfficientNets!无需注意力,也能让你的网络更快更强!
OpenCV 4.5来了!更强的SIFT,改进RANSAC算法,新增目标跟踪网络SiamRPN++
综述 | 基于深度学习的实时语义分割方法:全面调研
涨点神器!南航提出AFF:注意力特征融合
NeurIPS 2020 | 谷歌大脑提出:重新思考预训练和自训练
NeurIPS 2020 | 用于图像复原/恢复的神经稀疏表示
NeurIPS 2020 | aLRPLoss:统一目标检测中的分类和定位的平衡损失函数
CCE:具有互补交叉熵的不平衡图像分类
谷歌地标检索2020 Kaggle 第一名解决方案
ECCV AIM 2020 真实图像超分辨率挑战赛3项冠军解决方案
LVIS 实例分割挑战赛2020的第一名解决方案:好的Box不能保证好的Mask
ETH Zurich提出DPIR:具有Denoiser先验的即插即用图像恢复
综述 | 人脸图像质量评估:全面调研(2004-2020)
ECCV 2020 | NAS-DIP:通过NAS实现DIP(去噪/去雾/超分辨率/修复等)
TIP 2020 | PNEN:金字塔Non-Local增强型网络
综述 | 小样本学习:全面调研(Few-shot)
使用深度神经网络从Noisy Labels中学习:全面调研
剪枝filter?还是剪枝layer?这是个问题
ECCV 2020 | WeightNet:重新探索Weight网络的设计空间
Mask TextSpotter v3:用于场景文字检测和识别的分割Proposal网络
ECCV 2020 | 魔鬼在细节中:车辆重识别的自监督注意力(SAVER)
ECCV 2020 | 53.5 AP!PAA:用于目标检测的IoU预测的概率Anchor分配
ECCV 2020 | 南京理工提出FPT:特征金字塔Transformer
ECCV 2020 | BMask R-CNN:边界保持的Mask R-CNN
ECCV 2020 | 即插即用!PSConv:将特征金字塔压缩到紧凑
有监督学习和无监督学习_比监督学习做的更好:半监督学习相关推荐
- 机器学习中的标签数据和无标签数据(监督、非监督和半监督学习)
原文链接http://www.shujuren.org/article/62.html 原文如下 监督式和非监督式机器学习算法 作者 Frankchen 什么是监督式机器学习,它与和非监督式机器学习有 ...
- Poisoning the Unlabeled Dataset of Semi-Supervised Learning毒害半监督学习的无标记数据集
论文背景 机器学习研究近年的发展非常迅速,监督学习是其中很重要的一种方法,监督学习的目标是从训练样本中学习一个从样本到标签的有效映射,使其能够预测未知样本的标签,不足之处是需要大量的标记数据,针对这一 ...
- 半监督学习(Semi-Supervised Learning, SSL)-简述及论文整理
本文参考An Overview of Deep Semi-Supervised Learning,An overview of proxy-label approaches for semi-supe ...
- 机器学习教程 之 半监督学习 基于图正则项的半监督极限学习机
半监督学习是指在模型训练阶段同时利用有标签数据和无标签数据.我之前介绍过的半监督学习方法包括 基于分歧的半监督学习方法 机器学习教程 之 半监督学习 Tri-training方法 (论文.数据集.代码 ...
- 机器学习笔记(十三)半监督学习
13.半监督学习 这章介绍半监督学习方法. 13.1未标记样本 先说两个概念: 1)有标记样本(Labeled) 训练样本集Dl={(x1,y1), (x2,y2),-, (xl,yl)},这l个样本 ...
- 长文总结半监督学习(Semi-Supervised Learning)
©PaperWeekly 原创 · 作者|燕皖 单位|渊亭科技 研究方向|计算机视觉.CNN 在现实生活中,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力.在这种情况下,半监 ...
- 半监督学习【机器学习】
神经网络中,各种AutoEncoder应当是最有效地无监督学习方法,下面是偏向机器学习方面的半监督学习总结,来源周志华的[machine learning]. 半监督学习[机器学习] 前面我们一直围绕 ...
- 【科普】半监督学习的概述与思考,及其在联邦学习场景下的应用
关注公众号,发现CV技术之美 在现实世界中,数据往往存在各种各样的问题,例如:图片分类模型对标注数据的依赖性很强.标注图片数据难以获取.大量未标注数据存在.针对某个场景的数据量过小-等等问题. 在联邦 ...
- 半监督学习价值凸显!谷歌大脑83页PPT介绍最新进展
点击我爱计算机视觉标星,更快获取CVML新技术 最近52CV推送了好几篇关于半监督.自监督学习的文章: 自监督.半监督.无监督学习,傻傻分不清楚?最新综述来帮你! 解读自监督学习(Self-Super ...
- (二)Semi-supervised(半监督学习)李宏毅
介绍 半监督学习数据:{(xr,y^r)}r=1R,{xu}u=RR+U\{(x^r,\hat{y}^r)\}^R_{r=1},\{ x^u\}^{R+U}_{u=R}{(xr,y^r)}r=1R ...
最新文章
- GIS开发:大数据解决方案
- Android 面试题(转)
- wxWidgets:wxString类用法
- 图像像素灰度内插(Matlab实现)
- HDU - 4300 Clairewd’s message(扩展KMP)
- exception javax.crypto.BadPaddingException: Given final block not properly padded
- recv, recvfrom, recvmsg
- robot framework集成Jenkins环境
- java量_Java 2. 量与常量
- html语言arc属性,为要素图层设置 HTML 弹出窗口属性
- python3使用pickle读取文件提示TypeError或者UnicodeDecodeError的解决办法
- 一款基于ijkplayer框架的音乐播放器(已开源)
- python ----json数据处理
- 【1】JVM-内存模型
- C语言判断素数(求素数)
- 中国元宇宙企业有哪些?
- android动态壁纸--美女报时
- 概率与数理统计学习总结四---连续型随机变量及其概率密度
- QT自定义控件--时钟
- 浅析基于二维轮廓线重构表面算法
热门文章
- mysql 表连接 on_MysQL中表连接中“using”和“on”之间的区别是什么?
- JavaWeb学习笔记-kuangshen
- 自编码 Autoencoder
- 云图说|初识云数据库GaussDB(for Cassandra)
- 跟随报文,开启一段奇妙之旅
- KubeEdge@MEC:Kubernetes容器生态与5G的结合
- 云原生2.0时代,华为云DevOps立体运维实践
- 云原生2.0时代下,DevOps实践如何才能更加高效敏捷?
- 2020HC大会上,这群人在讨论云原生…
- 大型情感剧集Selenium:6_selenium中的免密登陆与cookie操作 #华为云·寻找黑马程序员#