机器学习李宏毅学习笔记35
文章目录
- 前言
- 一、Meta learning
- 1.第一步
- 2.第二步
- 3.第三步
- 二、machine learning 和 meta learning区别
- 总结
前言
Meta learning元学习：学习如何学习
提示：以下是本篇文章正文内容，下面案例可供参考
一、Meta learning
学习这件事也是一个function，这个function的输入是一个dataset，输出是一个classifier，输入测试资料，希望获得正确的结果。这个function是人定的，能不能用机器学习学习这个function，机器学习中通过三个步骤找一个function，meta learning也是要找一个function，这个function是learning algorithm。
1.第一步
在ML中neural的weight和bias要学出来，在meta learning里面可能要学的是network的架构、初始化的参数、learning rate等。∅表示learning algorithm里面要学的未知参数。
2.第二步
第二步是要定loss function决定某一组参数有多好。在一般的ML中L来自于训练资料，在meta learning里面收集的是训练的任务。比如要训练一个二元的分类器，要准备很多二元分类的任务，每个任务里面都会有训练资料和测试资料。
把任务里面的训练资料拿出来给algorithm学，会学出一个classifier，把这个classifier跑在测试资料上，看看会得到什么样的结果。结果的好坏决定loss的高低。计算输出和正确的cross entropy，把cross entropy加起来，这个总和越小，表示这个learning algorithm越好。将多个任务让learning algorithm学，得到多个loss，将这些loss加起来获得它的平均值，就得到这个learning algorithm的total loss。
在meta learning里面是用测试资料进行计算loss，区别于一般机器学习在训练资料上计算loss，是因为Meta learning 的训练单位是任务。
3.第三步
第三步，找∅让L（∅）最小。有些可以直接用gradient descent，但有些问题不能用gradient descent比如∅是network架构之类的（离散的），可以用reinforce learning 训练下去。
在测试的任务里面的训练资料给训练完的learning algorithm里，学出一个classifier，把分类器用在测试任务的测试资料上。测试任务是真正关心的任务，希望在测试任务上得到好结果。
二、machine learning 和 meta learning区别
Machine learning目标是找一个function，得出分类的结果。Meta learning也要找一个function，这个function是要找Machine learning里面的function。
在Machine learning里面是要判断一个classifier的好坏，而meta learning是要测试一个learning algorithm的好坏。所以在meta learning里面的测试还包括了训练，是across-task testing。一整个within-task training和within-task testing叫做一个episode。
在loss上，machine learning来自于某一个任务的训练资料，在meta learning中使用所有任务算出来的。
总结
学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7?p=37&vd_source=3a369b537e1d34ff9ba8f8ab23afedec
机器学习李宏毅学习笔记35相关推荐
- 机器学习李宏毅学习笔记33
文章目录 前言 一.神经网络压缩 二.Network pruning----一种network compression技术 1.移除不同单位的区别 2.大乐透假说 总结 前言 神经网络压缩(一) 类神 ...
- 机器学习李宏毅学习笔记37
文章目录 前言 一.ChatGPT做的事情 二.ChatGPT基础介绍 三.ChatGPT带来的研究问题 总结 前言 ChatGPT简单原理介绍 一.ChatGPT做的事情 Chatgpt以句子为输入 ...
- 李宏毅学习笔记35.GAN.06.Tips for Improving GAN
文章目录 简介 JS divergence来衡量分布的问题 What is the problem of JS divergence? Least Square GAN (LSGAN) Wassers ...
- python嵩天课堂笔记_[Python机器学习]强化学习笔记（嵩天礼欣老师mooc第三周）
[Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) [Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) 目录 强化学习 定义 马尔科夫决策过程 基本元素 值函数 最优值 ...
- 机器学习入门学习笔记：（4.2）SVM的核函数和软间隔
前言 之前讲了有关基本的SVM的数学模型(机器学习入门学习笔记:(4.1)SVM算法).这次主要介绍介绍svm的核函数.软间隔等概念,并进行详细的数学推导.这里仅将自己的笔记记录下来,以便以后复习查看 ...
- 机器学习入门学习笔记：（3.2）ID3决策树程序实现
前言 之前的博客中介绍了决策树算法的原理并进行了数学推导(机器学习入门学习笔记:(3.1)决策树算法).决策树的原理相对简单,决策树算法有:ID3,C4.5,CART等算法.接下来将对ID3决策树算法 ...
- 机器学习入门学习笔记：（2.3）对数几率回归推导
理论推导 在以前的博客(机器学习入门学习笔记:(2.1)线性回归理论推导 )中推导了单元线性回归和多元线性回归的模型. 将线性回归模型简写为:y=ωTx+by = \omega^Tx+b: ...
- 机器学习入门学习笔记：（2.2）线性回归python程序实现
上一篇博客中,推导了线性回归的公式,这次试着编程来实现它.(机器学习入门学习笔记:(2.1)线性回归理论推导 ) 我们求解线性回归的思路有两个:一个是直接套用上一篇博客最后推导出来的公式:另一 ...
- 吴恩达《机器学习》学习笔记十四——应用机器学习的建议实现一个机器学习模型的改进
吴恩达<机器学习>学习笔记十四--应用机器学习的建议实现一个机器学习模型的改进 一.任务介绍 二.代码实现 1.准备数据 2.代价函数 3.梯度计算 4.带有正则化的代价函数和梯度计算 5 ...
最新文章
- tp3 普通模式url模式_《终身成长》：三个步骤打造成长型思维模式，普通人也可以成功...
- 吴恩达推荐笔记：22 张图总结深度学习全部知识
- [CLR via C#]25. 线程基础
- 小白学phoneGap《构建跨平台APP：phoneGap移动应用实战》连载一（PhoneGap中的API）...
- seo高手已经掌握的秒收教程
- 南京廖华计算机二级考试答案,计算机二级Excel表格题库答案（解题步骤）
- MySQL专题—— 从认识索引到理解索引【索引优化】
- Spring 教程03
- java实现HTTP请求的三种方式
- sqlilab--writeup (5~6) 布尔盲注
- 卸载Oracle数据库（有图有真相）
- python批量分析表格_Python统计分析execl文件列表值的方法
- 百度地图LBS云存储自定义poi热点
- python函数名的应用、闭包和迭代器
- 每个Python程序员都应该有它。
- 利用Word 2010制作“智能”调查问卷
- 移动魔百和系统升级服务器地址,【当贝市场】移动魔百盒升级后无法观看视频怎么办...
- [Mac]如何卸载McAfee
- 技术人修炼之道阅读笔记（七）系统性思维方法
- python弹出框多一个空白框_python – 自定义/删除Django选择框空白选项