《图解机器学习-杉山将著》读书笔记---CH5

CH5 稀疏学习

重点提炼

提出稀疏学习的缘故：

虽然带有约束条件的最小二乘学习法结合交叉验证法，在实际应用中是非常有效的回归方法，但是，当参数特别多时，计算参数以及预测值需要大量时间。此时，我们要解决这个问题。

稀疏学习思路：

把大部分参数都设置为0，这样就能快速计算参数以及预测值。

L1约束的最小二乘学习法：

公式

求解得到参数theta

代码实现的流程图

通过稀疏学习进行特征选择

1.“一个特征一个特征地依次减少的向后删除法”以及“一个一个特征地依次增加的向前选择法”提出的原因：在d各特征值中做特征选择，就需要事先对2^d次维组合的优劣进行评估，计算时间是以输入维数d为基数指数级增长的。所以会提出前向选择法以及后向删除法。

2.通过稀疏学习进行特征选择的优势：比起“一个特征一个特征地依次减少的向后删除法”以及“一个一个特征地依次增加的向前选择法”，l1约束的稀疏学习做特征选择，可以在一定程度上考虑到各个特征之间的相互联系，在实际应用中，往往能得到更好的特征组合。

3.举例：

lp约束的最小二乘学习法

1.lp约束的最小二乘学习法中的约束条件：是更为普遍的条件，是p大于等于0的lp范数约束方法

2.公式：

3.最优解：当p=1时，是稀疏解存在的唯一凸形

l1+l2约束的最小二乘学习法/弹性网回归学习法

1.提出的原因：l1约束的最小二乘学习法的局限性：

①　当参数b>训练样本数n时，l1约束最小二乘学习法的非0参数个数最多为n

②　当参数b<训练样本数n时，l1约束最小二乘学习法的通用性能比l2约束的最小二乘学习法稍差

2.解决方法：利用l1+l2范数的凸结合来进行约束

P49

通过运行代码学习

初始化50个参数

当t-t0的绝对值＜0.001时这个循环就结束

结果：与p42中l2约束的最小二乘学习法结合交叉验证方法得到的拟合曲线结果没有太大差别。可是在这过程中，l1约束的最小二乘学习法不用像p42中的l2约束+交叉验证要跑完所有的循环，而只需要设定一个收敛值，小于这个收敛值就可以跳出循环了。

为什么书中说参数大多是0？现在还不理解，因为代码变量追踪，t中并没有很多参数<0.001即等于0

P49

补充知识来理解书上内容

Matlab 中pinv函数

Matlab 中diag函数

转载于:https://www.cnblogs.com/weiqinglan/p/6111617.html

《图解机器学习-杉山将著》读书笔记---CH5相关推荐

《图解机器学习-杉山将著》读书笔记---CH1
CH1 什么是机器学习重点提炼机器学习的种类: 常分为:监督学习.无监督学习.强化学习等监督学习是学生从老师那获得知识,老师提供对错指示无监督学习是在没有老师的情况下,学生自习强化学习是在没 ...
《图解机器学习-杉山将著》读书笔记---CH4
CH4 带有约束条件的最小二乘法重点提炼提出带有约束条件的最小二乘学习法的缘故: 左图中可见:一般的最小二乘学习法有个缺点----对于包含噪声的学习过程经常会过拟合右图:有了空间约束之后,学 ...
《图解机器学习-杉山将著》读书笔记---CH2
CH2 学习模型重点提炼学习模型作用: 使特定函数与数据集相近似学习模型类型: 1.线性模型 (1)最简单的线性模型,缺点:只能表现线性的输入输出函数,不能很好地解决实际问题 (2)基于参数的线 ...
《图解机器学习-杉山将著》读书笔记---CH3
CH3 最小二乘学习法重点提炼提出最小二乘学习法的缘故: 最小二乘学习法公式对不同模型进行最小二乘法学习,得到最小二乘公式中的参数theta: 1.线性模型代入3.1公式,对参数求偏导,偏 ...
《图解机器学习》（杉山将.著）笔记——第一章什么是机器学习
1.什么是机器学习 1.1学习的种类一.监督学习: 监督学习,是指有求知欲的学生从老师那里获取知识.信息,老师提供对错提示.告知最终答案的学习过程. 典型任务:预测数值型数据的回归.预测分类标签的分 ...
【机器学习】周志华读书笔记第一章绪论
1..什么是机器学习? 引言部分关于各种情景,是基于经验做出的的预判,机器学习的本质任务是预测. 特征学习经验 =>从而做出有效的决策 def:① 机器学习是一门学科, ② ...
机器学习之二十一（读书笔记）
Transfer Learning(迁移学习) zero-shot learning(零样本学习) 三十四.Transfer Learning(迁移学习) 1.介绍假设你现在有一些跟你要进行的t ...
《机器学习实战》萌新读书笔记 ② — — 第三章决策树内容提要、知识拓展和详细注释代码
目录引入: 什么是决策树? 决策树相较KNN的优势? 决策树的运作方式? 决策树模型的优缺? 决策树的构造: 构造思路信息增益划分数据集递归构造决策树绘制决策树树形图 Matplotlib注 ...
【机器学习周志华】读书笔记 P3 机器学习发展历程（选读）
机器学习是人工智能研究发展到一定阶段的必然产物. 20世纪50年代-20世纪70年代初: 人工智能研究处于推理期. 人们以为只要能赋予机器逻辑推理能力,机器就能具有智能. 但是人们逐渐意识到光有逻辑推 ...

《图解机器学习-杉山将著》读书笔记---CH5

《图解机器学习-杉山将著》读书笔记---CH5相关推荐

最新文章

热门文章