林轩田《机器学习基石》笔记

整理下刚看完的《机器学习基石》，写个目录大纲，方便自己随时查阅。
笔记一：
机器学习的定义、应用场合、基本术语、流程图
笔记二：
①介绍了线性感知机模型（Perceptron）②对于线性可分，采用PLA算法，有详细推导③对于线性不可分，采用Pocket算法
笔记三：
介绍了机器学习的类型
笔记四：
①证明了机器学习的可行性②NFL定理③霍夫丁不等式
笔记五：
①更深入讨论机器学习的可行性②专有名词：Ein(g)、Eout(g)、h、g、f、M
③成长函数mH(H)④break point
笔记六：
理论推导：只要break point存在，机器学习就是可行的
笔记七：
VC Dimension：dvc = d + 1(d表示维度)
P11 dvc、Ein、Ω模型复杂度之间的关系
笔记八：
噪声的影响，噪声产生的原因及解决方法，关于权重的分布
笔记九：
线性回归：图解得到Eout - Ein ≈ 2(N+1) / N
笔记十：
逻辑回归，交叉熵误差
笔记十一：
①线性分类②随机梯度下降③软性分类④OVO与OVA
笔记十二：
对于非线性模型的处理方法：将非线性模型映射到另一空间，转换为线性模型
笔记十三：
产生过拟合(overfitting)的原因，解决的办法
笔记十四：
正则化（regularization），是解决过拟合的方法之一
笔记十五：
验证（validation），是解决过拟合的方法之一。Leave - One - Out、V - Fold、Cross
笔记十六：
机器学习的三大法则：
奥卡姆剃刀定理（Occam’s Razor）：如无必要，勿增实体
抽样偏差（Sampling Bias）：训练数据、验证数据独立同分布
数据探测法（Data Snooping）：不要偷窥原始数据

课后作业（附上大佬的链接）：
Python版：
https://blog.csdn.net/devil_bye/article/details/80752529
C++版：
https://blog.csdn.net/a1015553840/article/details/51085129

林轩田《机器学习基石》笔记相关推荐

林轩田机器学习基石笔记6 - Theory of Generalization
Restriction of Break Point 四个成长函数与break point: 假设一个hypotheses,它的break point是2.那么当N=1的时候可以取到两个dichoto ...
林轩田机器学习基石笔记5 - Training versus Testing
Recap and Preview 机器学习流程图第一节课,介绍机器学习是要找到最好的g,使g≈f(目标函数),保证Eout(g)≈0.第二节课,找方法使Ein≈0,如PLA和pocket.第四节课 ...
林轩田机器学习基石笔记14：Validation
0. 前言之前的课程讲解了为了避免overfitting,可以使用regularization方法来解决.在之前的EinEinE_{in}上加上一个regularizer,生成EaugEaugE_{ ...
林轩田机器学习基石笔记（第6节）
第5节主要介绍了机器学习与统计学之间的关系,不用做太多了解,所以也可以跳过,直接进入本节. 今天主要学习的问题就是如何让机器解决是非题,仍然以银行发信用卡为例,就是根据客户提交的资料去判断要不要给该客 ...
林轩田机器学习基石笔记（第10-13节）——机器学习的分类
第10节主要讲到了多元分类(Multiclass Classification)的概念. 第11节主要简单介绍了监督学习(Supervised).非监督学习(Unsupervised).半监督学习(S ...
林轩田机器学习基石笔记3：机器学习分类
笔者正处于学习阶段,任何问题欢迎指正. 0. 前言机器学习通过样本输出维度,输入维度,学习方法等可以分成许多类别,这篇文章主要屡一下这些关系,首先看一下我做的思维导图,下面我会对每一种类别进行介绍. ...
林轩田机器学习基石笔记3—Types of Learning
上节课我们主要介绍了解决线性分类问题的一个简单的方法:PLA.PLA能够在平面中选择一条直线将样本数据完全正确分类.而对于线性不可分的情况,可以使用Pocket Algorithm来处理.本节课将主要 ...
林轩田机器学习基石笔记（第23-24节）——上限函数Bounding Function
本节我们讨论上限函数,所谓的上限函数就是,成长函数露出Break Point的点.只要我们知道了该点的值,就可以知道Hypothesis Set最多可以画多少条Dichotomy. 第20节的时候我们 ...
林轩田机器学习基石笔记2 - Learning to Answer Yes/No
Perceptron Hypothesis Set 感知器,一个具体的例子:评定要不要给用户信用卡,给(y=+1),不给(y = -1) xi:维度 wi:权重 threshold:阈值简化符号,将 ...
台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了非线性分类模型,通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行分类,分析了非线性变换可能会使计算复杂度 ...

林轩田《机器学习基石》笔记

林轩田《机器学习基石》笔记相关推荐

最新文章

热门文章