几种典型的半监督学习方法
半监督学习前提假设
1.连续性假设(Continuity Assumption)
分类问题- input是比较接近的时候,ouput的后验概率矩阵也应该距离比较小
2.聚类假设(Cluster Assumption)
类类内聚,类间分开
3.流形假设(Manifold Assumption)
- 所有数据点可以被多个低维流形表达。简单理解就是,将高维冗余特征降维到低维空间
- 相同流形上的数据点,标签一样。换句话说,降维之后同样标签的数据要接近或一致
半监督学习数学定义
半监督学习本质上就是设计了一个损失函数,三个部分组成:有监督loss,无监督loss以及正则项
半监督学习的实施方法
生成式模型:Semi-supervised GANs ; Semi-supervised VAEs
Re-using Discriminator
Discriminator 鉴别器其实就充当的是二分类器,对输入或生成的图片判定真假;在半监督中重用这个鉴别器,是将这个鉴别器做成k分类分类器,构建方法是输入数据不仅是有标签的数据对,还有生成的数据,以及没有标签的数据。用这三块构建损失。
Generated Samples to regularize a classifier
图片表征学习。Discriminator还是一个二分类器,设计了输入。XG是生成样本,m:binary mask(矩阵,只有0和1)相当于 特征抽取器
inference model
在Discriminator部分增加了C-类别。这里的是k+1类分类器,多的一类别是生成器产生,多出来的这个类别要跟真实的某一个类别接近。当模型训练完备以后,可以认为这个Discriminator具有分类能力。
Generate Data
增广数据,产生更多数据
一致性损失(Consistency Regularization一致性正则)
设计思路:
II Model
x是unlabeled数据,Aug是增广策略(随机翻转,增加噪声等等),送入模型进行识别,输出两个接近的后验概率或特征。每个训练的epoch,X会被前向推理两次,这两次的输入虽然经过不同的随机增广,但输出应该是具有一致性的。
图神经网络:AutoEncoder-based models ; GNN-based models
伪标签: Disagreement-based models ; Self-training models
Pseudo-label伪标签,标签是预测出来的。loss设计:第一项是有标记的损失,第二项是预测的伪标签进入模型的loss
伪标签方法设计:结构上,训练流程,伪标签预测方法上做设计。但是伪标签存在弊端,即1.标签选择不易,因为模型在训练初期并不是完备的模型,预测一个伪标签若是错的,那么在迭代过程中会使模型误差变大。2.alpha值(权重系数)很难确定。(也有基于这两个弊端进行改进的方法)
混合方法
结合上述方法的优点以提升训练结果。
几种典型的半监督学习方法相关推荐
- 监督学习和无监督学习_让半监督学习再次伟大!谷歌最新无监督数据增强研究,全面超越现有半监督学习方法...
新智元报道 来源:GoogleAI 编辑:元子 [新智元导读]Google AI最新研究用无监督数据增强推进半监督学习,取得令人瞩目的成果.该方法超越了所有现有的半监督学习方法,并实现了仅使用 ...
- python去除图像光照不均匀_CVPR 2020 | 从重建质量到感知质量:用于低光照增强的半监督学习方法...
CVPR 2020 | 从重建质量到感知质量: 用于低光照增强的半监督学习方法 Code: https://github.com/flyywh/CVPR-2020-Semi-Low-Light 1 背 ...
- 半监督学习matlab,基于自适应图的半监督学习方法与流程
本发明属计算机视觉.图形处理 技术领域: ,具体涉及一种基于自适应图的半监督学习方法. 背景技术: :随着计算机网络技术的快速发展和人们对数据访问的多样化,人们可以获得的信息呈指数级别增长,如何利用这 ...
- 文献记录(part57)--半监督学习方法
学习笔记,仅供参考,有错必究 关键词 :半监督学习:有类标签的样本:无类标签的样例:类标签:成对约束 文章目录 半监督学习方法 引言 半监督学习概述 半监督学习研究的发展历程(略) 半监督学习依赖的假 ...
- [总结] 半监督学习方法: 协同训练类协同训练(Co-training)
Co-training 最早在 1998 年提出, 是基于分歧的方法, 其假设每个数据可以由不同的视图(View)表示, 不同视图可以训练出不同的分类器, 利用这些分类器对无标签样本进行分类, 再挑选 ...
- 图像分类最新技术综述论文: 21种半监督、自监督和无监督学习方法一较高低
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :专知 AI博士笔记系列推荐 ...
- 论文阅读笔记:《一种改进的图卷积网络半监督节点分类》
论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 文章目录 论文阅读笔记:<一种改进的图卷积网络半监督节点分类> 摘要: 引言 非欧几里得数据 1 深度池化对偶图神经网络 ...
- NeurIPS’20 | 长尾问题太严重?半监督和自监督就可以有效缓解!
文 | Yuzhe Yang 源 | 知乎 来给大家介绍一下我们的最新工作,目前已被NeurIPS 2020接收:Rethinking the Value of Labels for Improvin ...
- 数据类别不平衡/长尾分布?不妨利用半监督或自监督学习
本文转载自知乎,已获作者授权转载,请勿二次转载. 链接:https://zhuanlan.zhihu.com/p/259710601 来给大家介绍一下我们的最新工作,目前已被NeurIPS 2020接 ...
最新文章
- 傅里叶描述子欧氏距离_机器学习中的各种距离
- 如何让自学更有效率?
- android 添加附件功能,Android实现带附件的邮件发送功能
- Android的Activity屏幕切换动画(一)-左右滑动切换
- 打开 XP Pro SP2 远程桌面的多用户支持
- 阿里云发布ECS磁盘加密,一键加密,业务0改动
- Qt Creator在多个平台上运行
- linux gcc matlab,Linux Matlab mex gcc 版本
- 中国企业飞鸽传书市场
- bat文件运行java的jar包不弹出dos窗口,开机自启jar包
- 你好,了解一下Java 14带来的一系列新功能
- c语言 正整数 几位 逆序,c语言经典例题:正整数求位数and求顺、逆序位数
- k8s基础知识学习配套黑马
- windows7安装Bitvise开启SSH服务
- SAP ABAP BAPI_MATERIAL_AVAILABILITY 查询可用库存
- 1.Redis客户端
- ubuntu解决菜单栏和工具栏消失的方案
- android rgmap,Android版的数字地质填图系统开始应用测试
- 基于S3C2440的电子鹰眼监控系统设计
- 词霸天下---词根227【-gress- = -grad- = -gred- = -gre(e)- 步,走】
热门文章
- Docker系列 搭建密码管理应用bitwarden
- Android 11.0 解决切换横屏时SystemUI导航栏固定在桌面右侧而不是底部的问题
- 雷军20年前作文:我会当一辈子程序员 + 分享雷军22年前写的代码
- 3 x 10的python表达式_python3.x 正则表达式的应用
- 庞皓《计量经济学》第4版笔记和课后答案
- 相声文本《我是黑社会》--郭德纲、于谦
- 股份期权激励协议书模板
- 【Luogu】 P3242 [HNOI2015] 接水果
- 使用pip安装模块出现:Cannot unpack file /tmp/pip-WY1nQb-unpack/simple.htm
- Redis+MySQL冷热数据交换