机器学习之路——《统计学习方法》（一）

最近开始阅读李航老师的经典著作《统计学习方法》，现将其中自认为较为重要的点写出来，一个是作为回忆复习，二一个是希望能够分享给更多人。第一次写博客，如有错误，希望多包涵。

第一章统计学习方法概论

个人认为第一章主要介绍的是机器学习中一些最为基本的概念和重要的要素，比方说监督学习，假设空间，损失函数，风险函数（期望风险），经验风险，结构风险，正则化，过拟合，泛化误差这些概念。非常好理解，而且只用一些比较简单的数学表示，从字面上到数学公式可以构建一个比较直观的联系。

下面给出学习之后我个人觉得很重要的三个推导

一由经验风险最小化推导极大似然估：

二由结构风险最小化推导最大后验概率：

三证明二类分类问题的泛化误差上界：

无限个函数的情况没有讨论。

问题一：书上说当模型是条件概率分布，损失函数是对数损失函数，结构风险最小化就等价于MAP，但是上面给出了损失函数是平方损失函数，结果也是结构风险最小化。也就是似然概率服从高斯分布时的推导。

问题二：推导泛化误差上界过程中那个N，是如何从分子跑到分母的，还有就是hoeffding不等式给的是随机变量之和，怎么带成期望风险和经验风险的？那个1/N那里去了？是不等式左边那个N吗？

机器学习之路——《统计学习方法》（一）相关推荐

机器学习（李航统计学习方法）
目录绪论-资料介绍绪论-频率派vs贝叶斯派频率派的观点贝叶斯派的观点监督学习与无监督学习单变量线性回归模型表示代价函数梯度下降多变量线性回归多维特征多变量梯度下降梯度下降法实 ...
机器学习：李航-统计学习方法-代码实现
<统计学习方法>的代码实现分享 <统计学习方法>这本书,附件里并没有代码实现,于是许多研究者复现了里面算法的代码,并放在github里分享,这里介绍几个比较热门的<统计学 ...
【机器学习算法专题（蓄力计划）】二、机器学习中的统计学习方法概论
一. 统计学习方法概论统计学习的定义.研究对象和方法监督学习.无监督学习.半监督学习.强化学习统计学习方法三要素:模型.策略.算法模型选择:正则化.交叉验证.学习的泛化能力生成模型和判别模型 ...
机器学习：《统计学习方法》笔记（一）—— 隐马尔可夫模型
参考:<统计学习方法>--李航:隐马尔可夫模型--码农场摘要介绍隐马尔可夫模型的基本概念.概率计算.学习方法.预测方法等内容. 正文 1. 基本概念隐马尔可夫模型是关于时序的模型,描 ...
【机器学习】—何为统计学习方法三要素？
阅读之前看这里
【机器学习】《统计学习方法》学习笔记第三章 k近邻法
第三章 k k k 近邻法(KNN) 多分类模型,思路是将最近的 N N N 个邻居的分类值中的多数作为自己的分类值.没有显式的学习过程. 三个基本要素:距离度量. k k k 值选择和分类决策规则. ...
《机器学习与数据科学（基于R的统计学习方法）》——2.11　R中的SQL等价表述...
本节书摘来异步社区<机器学习与数据科学(基于R的统计学习方法)>一书中的第2章,第2.11节,作者:[美]Daniel D. Gutierrez(古铁雷斯),更多章节内容可以访问云栖社区& ...
统计学习方法 pdf_机器学习的入门宝典！《统计学习方法》的代码实现
李航:毕业于日本京都大学电气电子工程系,日本东京大学获得计算机科学博士学位.1990年至2001年就职于日本NEC 公司中央研究所,任研究员,2001年至2012年就职于微软亚洲研究院,任高级研究员与 ...
手机上的机器学习资源！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>.CS229数学基础等,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成 ...

机器学习之路——《统计学习方法》（一）

机器学习之路——《统计学习方法》（一）相关推荐

最新文章

热门文章