《机器学习—李宏毅》lecture1
目录
初入手心得
Preparation—预测本频道观看人数
机器学习的模型分类
一个机器学习例子
Class Material
Week1
HW1.pdf内链接
机器学习2021 机器学习任务攻略
机器学习2021 类神经网络训练不起来怎么办（一） 局部最小值和鞍点
判断是否是鞍点——利用泰勒微积分
Batch size
初入手心得
课程链接很多，不知道要从哪里入手，信息量大。
先看了class和hw，以下是Lecture1 涉及到的网路课件（发现有交叉部分Lecture2的内容）：
| Preparation | 【機器學習2021】預測本頻道觀看人數 (上) - 機器學習基本概念簡介 | 从Regression介绍到神经网络 |
| 【機器學習2021】預測本頻道觀看人數 (下) - 深度學習基本概念簡介 | ||
| Class Material | 【機器學習2022】開學囉~ 又要週更了~ | 这学期的课程大纲 |
| Pytorch 1 | Pytorch入门 | |
| Pytorch 2 | ||
| Extra Material | Introduction of Deep Learning | 往年其他版本的授课 |
| Backpropagation | ||
| Predicting Pokémon CP | ||
| Pokemon classification | ||
| Logistic Regression | ||
| HW1.pdf内链接 | 【機器學習2021】類神經網路訓練不起來怎麼辦 (一) | 实际工程中可能遇到的问题（鞍点、批次大小等） |
| 机器学习2021 机器学习任务攻略 |
做了HW1后回顾发现，想要提升HW1的performance，重点是注释里面的TODO和HW1.ppt里面的提示。课件主要偏理论介绍，老师授课内容并不涉及具体py代码，学长学姐的讲解主要是工具包的介绍等。
Preparation—预测本频道观看人数
机器学习的模型分类
按照输出类别来定义，有以下的结论。
Regression：输出对一个常量的预测
Classification：给出各种类别，选择正确的类别
Structured Learning：输出具有结构的预测（如pictures等）
一个机器学习例子
通过讲如何对youtuber频道观看人数预测，达到介绍机器学习做了哪些工作。以及介绍了简单的神经网络。
1. Function with unknown Parameters 选择一个适合该问题的函数or模型
2. Define Loss from Training Data 定义评判输出的预测与实际值的误差计算方法
3. Optimization 最佳化使Loss最小
如以下两个不同的预测过程：
1. gradient descent + linear regression（对于当前例子是高bias的，模型过于简单）
2. 单层神经网络，利用sigmoid的组合来模拟不同形状的curve
Class Material
Week1
简介本学年课程的主题设置
lecture1～5是监督式学习
lecture6 generative adversarial network（生成对抗网络）
lecture7 自监督式学习（pre-train与downstream task）
lecture8 异常检测，lecture9 可解释性AI
lecture10 模型攻击
lecture11 domain adaptation（领域适应）
lecture12 reinforcement learning（增强学习）
lecture 13 network compression
lecture14 life-long learning
lecture15 meta learning/few-shot learning
HW1.pdf内链接
机器学习2021 机器学习任务攻略
开局一张图：
如果training比较高，可能是Model Bias（模型过于简单），或是Optimization Issue（训练过程有问题，没法找到最小的Loss），可以通过比较不同的模型来判断。
尝试不同的层数/不同的features
由简单到难，如果难的比简单的表现差，那代表optimization做的不好。
机器学习2021 类神经网络训练不起来怎么办（一） 局部最小值和鞍点
判断是否是鞍点——利用泰勒微积分
理论上：
那么，可以用特征向量来逃离鞍点：
实际上，因为要求二次偏导/特征向量等，运算量过大，所以一般不采用上述理论。下面是老师给出来的一个训练例子：
很少有卡在local minimal ，很多都是在鞍点loss就无法下降
Batch size
梯度下降/批量梯度下降/随机梯度下降等的batch与优缺点
如果用GPU做平行运算，大的batch size所需时间并不会立即增大，再考虑上跑一次epoch需要的循环，并不是越小就越快。
但是 ，比较noisy的batch size，在较大的数据集上获得的效果反而要更好：
可能是因为batch size小有助于逃离鞍点：
且甚至在test set上表现的也更好，大的batch size会over fitting：
如果对解决这个问题感兴趣，可以阅读以下paper：
《机器学习—李宏毅》lecture1相关推荐
- 机器学习基石 Lecture1: The Learning Problem
机器学习基石 Lecture1: The Learning Problem Course Introduction Course Design What is Machine Learning 定义 ...
- 【《2021机器学习-李宏毅》学习笔记】
文章目录 简介 内容示意 个人学习笔记 01-Regression 02.1-deeplearning-general_guidance 02.2-deeplearning-类神经网络优化技巧 02. ...
- 台湾大学机器学习基石lecture1小结
最近在学习台湾大学林轩田老师的机器学习基石课程,在lecture1中,老师讲述了when can machine learn?提出了三个判断是否使用机器学习的关键: 1.有更好的输出表现 2.不知道如 ...
- 神奇宝贝/数码宝贝分类器笔记-机器学习-李宏毅2021
1.我们不利用classificaion而利用regression来分类的时候会遇到的问题 在update的时候,regression因为一些噪点,或者偏离的点,逐渐将boundry远离了原本的目的函 ...
- 机器学习 李宏毅 L32-Structured Learning-Introduction
Structured learning介绍 对于传统的机器学习,输出一般为数字型的数据类型,例如label或者是vector.而与实际情况更为接近的是,输出可以要求为一张image或者是一段文字等等. ...
- 机器学习-李宏毅-课程学习
课程导入20220625 P1:机器学习是什么? machine learning=looking for function找函数f(x) 深度学习=机器学习的一个关键技术,用类神经网络 eg. x ...
- 机器学习李宏毅学习笔记35
文章目录 前言 一.Meta learning 1.第一步 2.第二步 3.第三步 二.machine learning 和 meta learning区别 总结 前言 Meta learning元学 ...
- 归因分析笔记21 可解释的机器学习-李宏毅讲座
视频链接: https://www.bilibili.com/video/BV1Wv411h7kN/?p=96&vd_source=7259e29498a413d91ab48c04f93298 ...
- 机器学习 李宏毅 L24-Linear Dimension Reduction
clustering 聚类 k-means方法: HAC方法(Hierarchical Agglomerative Clustering): Distributed Representation 用于 ...
最新文章
- 只有你想不到，没有它做不到——可随时变身的模块化机器人
- java规约下载_Java规约 PDF 下载
- Handler实现与机制 Blocking Queue IdleHandler使用
- TensorFlow MNIST 入门 代码
- int linux 原子操作_linux c++编程之多线程：原子操作如何解决线程冲突
- oracle存储sql片段引入_强大的跨数据库访问组件 UniDAC使用教程：注释和SQL函数...
- NOIP2015 写后感
- 图片管理系统源码_「程序员分享」基于SpringBoot开发的天猫商城源码
- linux 每日学一点《如何用iptables实现NAT》
- Atitit 嵌入式系统与pc系统的对比 目录 1. 哈佛结构和冯诺依曼结构 普林斯顿结构区 1 2. 中断程序 类库调用 1 3. 指令集 三大流程语句 与 运算语句 赋值语句 1 4. 异
- 如何查找专栏（知乎专栏汇总）
- BAT三巨头谁最先进五百强?
- matlab 注释多行方法
- oracle元转换为亿元,元换算成亿元(亿元和圆的换算)
- Python程序设计思维练习---股票数据定向爬虫
- 4.OpenCV视频处理
- 数据统计基础之F分布及其应用
- 如何编辑微信公众号(微信公众号内容制作流程)
- Playbooks 简介
- 使用pm命令安装或卸载apk,静默安装、卸载方法