元学习、迁移学习、对比学习、自监督学习与少样本学习的关系解读
文章目录
- 前言
- 一、对比自监督学习与FSL
- 1.对比学习与自监督学习
- 2.自监督学习与FSL
- 二、元学习与FSL
- 1.元学习是什么
- 2.元学习与FSL
- 三、迁移学习与FSL
- 1.迁移学习
- 2.迁移学习与FSL
- 总结
前言
本人的研究方向是少样本图像分类,在阅读论文时会遇到很多元学习、迁移学习这样的名词,这些词在不同的论文中关系仿佛都不一样,人们的说法也不统一。因此在此记录一下自己的逻辑,希望不再混乱了~
还有对比学习和自监督学习,最近自己也在看,并且和少样本学习(FSL)相关,就一起放在这里。
文章中出现的ppt截图是自己讲组会用的,大家仅作参考。
如需转载,请注明来源!
一、对比自监督学习与FSL
1.对比学习与自监督学习
对比自监督学习是一种当下流行的算法,其实它是指通过对比学习来完成自监督学习的过程。 对比学习的精髓就在于在特征域拉近相似正样本对之间的距离,拉远负样本对的距离。
在自监督学习中,对于当前训练图片而言,正样本对通常由来自于同一张图片的两个随机增广图片构成,负样本对由来自于其他图片的增广图片构成。
对比学习还可以用于有监督学习,这时正样本对是来自同一类的图片,负样本对是来自不同类的图片。
2.自监督学习与FSL
为了检验自监督学习算法的优劣,通常在下游任务上对由自监督学习获得的特征提取器进行检验。下游任务包括很多种,FSL就是其中一种。但是在自监督学习算法中,很少有人会在FSL上作检验,一般会选择线性探针、目标检测等常用方法。
当然,对比自监督学习属于自监督学习,FSL也可以作为它的一种下游任务。
二、元学习与FSL
1.元学习是什么
元学习在2018年就被提出了,也可能更早就出现了这个概念。人们在提到它是,都说“元学习是指学会学习”,这个解释很抽象啊。
在参考一些文章后,我认为元学习的核心是,网络通过在大量相似任务上做训练获取元知识,就可以在新任务上快速学习以完成这个新任务。
这里有两个重点:
1、什么是元知识?
在元学习中,存在元训练和元测试阶段,其中元训练(上面ppt中的outer-level)就是为了获取最佳的元知识,使得网络在元测试阶段(inner-level)能快速解决新任务。
元知识这个词也有点抽象,它是指影响网络学习的一些因素,比如网络权重的初始值、网络结构、学习率等超参数,等等。
2、新任务和用于元训练的那一堆任务有什么关系?
新任务需要和元训练使用的任务同分布! 这是元学习的一个限制。从上面ppt中可以看到,损失函数是对任务的分布求均值获得的。
2.元学习与FSL
元学习其实就是解决FSL问题的一种方法,这两种学习没有概念上的混淆,他们是单独的两种问题。
但是现在大部分解决少样本学习问题的算法都采用了元学习方法,所以人们很容易将二者混为一谈。
我们来看下面的对比,就知道元学习为什么总是被用于解决FSL了。
从上图中可以看出元学习希望网络能快速学习,而FSL要求网络在少量样本下就可以学会分类,这其实是对应的。少量样本就代表着快速学习。 FSL要求的新类别其实就对应着元学习的新任务。
因此,元学习和FSL完美对应,就可以应用上去啦!
同时,少样本学习的效果也是验证元学习算法性能的一种方式。
三、迁移学习与FSL
1.迁移学习
迁移学习是一个很广的概念,但凡涉及到知识迁移的情况都可以称为迁移学习。
比如说从大数据集向小数据集的迁移,从ImageNet向CIFAR 10图像分类的迁移。因此元学习就是一种迁移学习,它是同分布任务之间的迁移。
同时,之前提到的检验自监督学习算法性能的下游任务,也涉及了迁移。这是从上游任务向下游任务的迁移。
2.迁移学习与FSL
了解了迁移学习的概念后,我们可以发现,FSL目前就是依靠迁移学习来完成的!
这是因为元学习和自监督学习是目前用来解决FSL的两种方式,而这两种方法又都属于迁移学习。
总结
以上就是我在阅读论文及博客后,得到的一个自认为可以捋顺的关系结构。这些“学习”的概念确实会然在一起,但是需要我们完全区分开。
如果大家有补充或修正,欢迎留言啊!
如需转载,请注明来源!
元学习、迁移学习、对比学习、自监督学习与少样本学习的关系解读相关推荐
- NeurIPS 2019 少样本学习研究亮点全解析
作者:Angulia Chao 编辑:Joni Zhong 少样本学习(Few-Shot Learning)是近两年来非常有研究潜力的一个子方向,由于深度学习在各学科交叉研究与商业场景都有比较普遍的应 ...
- weka分类器怎么设置样本类别_NeurIPS 2019 少样本学习研究亮点全解析
少样本学习(Few-Shot Learning)是近两年来非常有研究潜力的一个子方向,由于深度学习在各学科交叉研究与商业场景都有比较普遍的应用,然而训练出高精度模型的情况大部分来源于充足的训练数据,这 ...
- 少样本学习(一):了解一些基础概念
Few-shot learning(少样本学习)和 Meta-learning(元学习)概述 参考:Few-shot learning(少样本学习)和 Meta-learning(元学习)概述_Cao ...
- 【转载】Few-shot learning(少样本学习)和 Meta-learning(元学习)概述
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/weixin_37589575/arti ...
- 加了元学习之后,少样本学习竟然可以变得这么简单!
文 | Rukawa_Y 编 | Sheryc_王苏,小轶 去年年初 GPT-3 的论文在 arxiv 上出现,论文名为 "Language Models are Few-Shot Lear ...
- Meta-learning(元学习与少样本学习)
Meta-learning(元学习) 虽然目前很多暴力堆算力堆数据的模型取得了很好的效果,但由于有些数据很难收集到,或者大量的标注耗费人力太多,关于元学习的研究也很多.特别是比如人类往往只需要通过少量 ...
- Few-shot learning(少样本学习)和 Meta-learning(元学习)概述
目录 (一)Few-shot learning(少样本学习) 1. 问题定义 2. 解决方法 2.1 数据增强和正则化 2.2 Meta-learning(元学习) (二)Meta-learning( ...
- 如何实现少样本学习?先让神经网络get√视觉比较能力
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
- Few-shot learning 少样本学习
N-way K-shot用来衡量网络泛化能力,但小样本在实际应用中并不是很好. 背景 深度学习已经广泛应用于各个领域,解决各类问题,在图像分类的问题下,可以很轻松的达到94%之上.然而,deep le ...
最新文章
- Brian Kelly:比特币现金发展基金是大利好,现在正是买入时机
- shell echo 换行 不换行 打印换行
- 如何不屏蔽Android系统的返回按键
- C# 创建Windows服务。服务功能:定时操作数据库
- mysql 倒序 分页_nodeJS与MySQL实现分页数据以及倒序数据
- 加拿大文件服务器,加拿大服务器空间
- HDU - 6982 J - Road Discount wqs二分 + 模型转换 + 优化
- Oracle Database Gateway 安装
- MFC开发IM-第十篇、MFC改变static text颜色
- ubuntu搭建nginx服务器,并测试axel与wget的下载速度
- 全球11大免费GIS数据源在此,速速来取!
- FRR BGP协议分析14 -- 静态路由的处理流程
- 【BLE MIDI】MIDI 文件格式分析 ( MIDI 文件头解析 | MIDI 文件头标识 | MIDI 文件头长度 | MIDI 文件格式 | MIDI 轨道个数 | 基本时间 )
- 【长篇肝文7万字】模电/数电/单片机/计算机组成原理/电力电子常见笔试/面试题(合集)未完更新ing
- Java利用HttpPost工具类提交数据
- 电脑蓝屏的几种状况处理
- AcWing 1107 魔板
- eureka 缺点
- 传统目标检测方法研究(一)
- 电脑耗电,电脑耗电量大吗?