统计学习方法第八章总结

集成方法主要包括：bagging和boosting思想

其中boosting的思想是：通过改变训练样本的权重（即改变训练数据的概率分布），学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

在概率近似正确（PAC）学习的框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的。（不懂）

adaboost：

解决了两个问题：

每一轮，即每一个分类器，如何改变训练数据的权值或概率分布：提高前一轮被错误分类的样本权重，降低前一轮被正确分类的样本权重。
如何组合弱分类器成为强分类器：加大分类误差率小的弱分类器的权值，使其在表决中起较小的作用。

步骤：

f(x) 的符号决定实例x的类，[f(x)] 的绝对值表示分类的确信度

adaboost 算法的训练误差分析：
两个定理，一个推论：

所以adaboost的误差上届由分类器的个数，以及每个分类器的准确率决定。

统计学习方法第八章总结相关推荐

统计学习方法第八章作业：分类问题AdaBoost算法、回归问题提升树算法代码实现
分类问题AdaBoost算法 import math import numpy as npclass Adaboost_tree:def __init__(self,X,Y,feature_type= ...
《李航统计学习方法》学习笔记——第八章提升方法
提升方法 8.1提升方法AdaBoost 8.1.1提升方法的基本思路 8.1.2AdaBoost算法 8.1.3AdaBoost的例子(代码实现) 8.2AdaBoost算法的训练误差分析定理8. ...
李航老师《统计学习方法》第八章课后习题答案
其他章节答案请参考我的汇总统计学习方法答案汇总,都是自己写的. 8.1.题目太长,懒得打字了因为训练数据实例的维度比书中的例子8.1的实例的维度大,也就是特征的数目比较多,因而需要进行特征选择.我在 ...
手写实现李航《统计学习方法》书中全部算法
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来源:专知 [导读]Dod-o的手写实现李航<统计学习方法>书中全部算法, ...
python实现决策树算法sklearn_GitHub - cbyonder/lihang_algorithms: 用python和sklearn两种方法实现李航《统计学习方法》中的算法...
lihang_algorithms 用python和sklearn实现李航老师的<统计学习方法>中所提到的算法实验数据:MNIST数据集,这里用kaggle中处理好的数据官方下载地址: ...
统计学习方法李航读书笔记
************************************************************ 李航教授<统计学习方法> 统计学教材总结主要介绍监督学习方法 * ...
08_提升方法Boosting2_统计学习方法
文章目录三.GBDT算法 1.提升树算法 (1)算法三要素 (2)GBDT与AdaBoost区别 2.平方损失的提升树 3.梯度提升树(Gradient Boosting Decison Tree, ...
08_提升方法Boosting1_统计学习方法
文章目录一.Boosting和集成学习介绍二.AdaBoost 1.AdaBoost算法 (1)AdaBoost算法的三要素 (2)AdaBoost模型定义 (3)AdaBoost损失函数定义 ( ...
《统计学习方法》全部算法
目录前言手写实现李航<统计学习方法>书中全部算法示例内容完整目录第二章感知机: 第三章 K近邻: 第四章朴素贝叶斯: 第五章决策树: 第六章逻辑斯蒂回归与最大熵模型: 第 ...

统计学习方法第八章总结

统计学习方法第八章总结相关推荐

最新文章

热门文章

统计学习方法 第八章总结

统计学习方法 第八章总结相关推荐

最新文章

热门文章

统计学习方法第八章总结

统计学习方法第八章总结相关推荐