李航《统计学习方法》AdaBoost算法（课后习题）

AdaBoost：https://blog.csdn.net/v_JULY_v/article/details/40718799

提升树：https://www.cnblogs.com/daguankele/p/6557328.html

强可学习的：一个概念如果存在一个多项式的学习算法能够学习它，并且正确了很高，那么，这个概念是强可学习的；

弱可学习的：一个概念如果存在一个多项式的学习算法能够学习它，并且学习的正确率仅比随机猜测略好，那么，这个概念是强可学习的；

强可学习和弱可学习是等价的；

在学习中，如果发现了“弱学习算法“，能否将他提升为“强学习算法”

大多数提升方法是改变训练数据的概率分布（训练数据的权值分布）

1.在每一轮如何改变训练数据的权值和概率分布？

提高被前一轮错误分类样本的权值，降低正确分类样本的权值

2.如何将弱分类器组合成强分类器？

选取多数表决方式，即加大分类误差小的弱分类器权重

AdaBoost就是将一些简单可训练的非线性关系，通过加权和的方式将多个非线性关系相加，其中每次训练的数据集的权重不同，参见1

提升树：损失函数为平方损失为回归，指数损失为分类器

针对其他损失函数，提出梯度提升方法，不再使用残差而是损失的负梯度

习题8.1 问题总结为：AdaBoost算法学习一个强分类器，且假设弱分类器为决策树桩

则涉及：AdaBoost学习强分类器方法，参考8.1.3例子；并涉及决策树分类器知识，选用CART算法，可参考5.5 定义5.4 （基尼指数）算法5.6（CART生成算法）例5.4

以上多为自己计算，参考了书本知识和网上资源，但发现有些不同，有错误的地方希望大家指出，共同学习

李航《统计学习方法》AdaBoost算法（课后习题）相关推荐

李航统计学习方法第二版课后习题答案机器学习
李航<统计学习方法>课后习题答案(第2版)
李航统计学习方法第二版课后习题答案
第一章第二章 1 第二章2 第三章第四章 1 第四章 2 第五章 1 第五章 2 第六章第七章 1 第七章 2
统计学习方法-第二章课后习题答案整理
2.1Minsky和Papert指出: 感知机因为是线性模型, 所以不能表示复杂的函数,如异或. 验证感知机为什么不能表示异或参考链接: https://blog.csdn.net/yangfeis ...
李航统计学习方法EM算法三枚硬币例子Q函数推导
具体推导如下: 上面推导省略了第i次迭代的i的标记当得到上式以后,可以参考 http://www.cnblogs.com/Determined22/p/5776791.html 来继续一下推导当然 ...
统计学习方法 pdf_李航统计学习方法（第三章）
第3章 k 近邻法 k 近邻法(k-NN)是一种基于实例的学习方法,无法转化为对参数空间的搜索问题(参数最优化问题).它的特点是对特征空间进行搜索.除了k近邻法,本章还对以下几个问题进行较深入的讨论: ...
【李航统计学习方法】感知机模型
目录一.感知机模型二.感知机的学习策略三.感知机学习算法感知机算法的原始形式感知机模型的对偶形式参考文献本章节根据统计学习方法,分为模型.策略.算法三个方面来介绍感知机模型. 首先介绍感 ...
李航统计学习方法课后习题答案第二版
李航<统计学习方法>课后习题答案(第2版)
重磅开源！所有的李航老师《统计学习方法》算法代码实现！！！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 超有料的仓库项目资源---<统计学习方法>代码李航老师的<统计 ...
《李航统计学习方法》学习笔记——第八章提升方法
提升方法 8.1提升方法AdaBoost 8.1.1提升方法的基本思路 8.1.2AdaBoost算法 8.1.3AdaBoost的例子(代码实现) 8.2AdaBoost算法的训练误差分析定理8. ...
李航统计学习感知机算法实现
前言李航的<统计学习方法>和西瓜书是入门机器学习进而到深度学习的经典书籍,笔者是数学专业大二在读,在编程方面仍有许多不足之处,在已经看完相关经典书籍后开始编程实践.因为本人愚钝,且不善编 ...

李航《统计学习方法》AdaBoost算法（课后习题）

李航《统计学习方法》AdaBoost算法（课后习题）相关推荐

最新文章

热门文章