0. 前言

Boosting：先训练一个基学习器，然后根据学习器的表现对样本分布进行调整，给予做错的样本更多的关注，再基于调整后的分布训练下一个基学习器，如此重复达到指定的学习器数目，将这些学习器集成

Boosting主要关注降低偏差，因此能基于泛化性能弱的学习器构建出很强的集成。

AdaBoost是集成学习Boosting的代表算法。

1. AdaBoost算法

AdaBoost 算法流程可描述如下：

对每个训练样本设定相等的权重
训练一个加权错误率最低的最佳弱分类器，加权错误率为εt\varepsilon_tεt
根据加权错误率，计算弱分类器的分类器权重αt=12ln⁡(1−εtεt)\alpha_t=\frac{1}{2}\ln(\frac{1-\varepsilon_t}{\varepsilon_t})αt=21ln(εt1−εt)
更新权重向量，如果样本上一轮分类正确Dt+1(x)=Dt(x)exp⁡(−αt)∑i=1mDt(xi)D_{t+1}(x)=\frac{D_t(x)\exp(-\alpha_t)}{\sum_{i=1}^mD_t(x_i)}Dt+1(x)=∑i=1mDt(xi)Dt(x)exp(−αt)
更新权重向量，如果样本上一轮分类错误Dt+1(x)=Dt(x)exp⁡(αt)∑i=1mDt(xi)D_{t+1}(x)=\frac{D_t(x)\exp(\alpha_t)}{\sum_{i=1}^mD_t(x_i)}Dt+1(x)=∑i=1mDt(xi)Dt(x)exp(αt)
执行第2步，继续训练下一个弱分类器，直到弱分类器达到指定数量
预测时，将数据通过每个弱分类器，将其结果加权求和

如下图所示（图源：机器学习）：

如果发现当前学习器不满足条件（分类错误率大于0.5，意味着不如随机选择），则抛弃这个学习器，并停止学习。

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

西瓜书+实战+吴恩达机器学习（十二）监督学习之AdaBoost相关推荐

西瓜书+实战+吴恩达机器学习（二）机器学习基础（偏差、方差、调试模型技巧）
文章目录 0. 前言 1. 偏差方差的解决方法 2. 高偏差高方差的学习曲线 3. 调试模型技巧如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言泛化误差可分解为 ...
西瓜书+实战+吴恩达机器学习（二十）随机算法（拉斯维加斯方法、蒙特卡罗方法）
文章目录 0. 前言 1. 拉斯维加斯方法 2. 蒙特卡罗方法如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言随机算法主要分为两种类型: 拉斯维加斯方法:采样次 ...
西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场
文章目录 0. 前言 1. 马尔可夫随机场结构 2. 近似推断 2.1. Metropolis-Hastings 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
西瓜书+实战+吴恩达机器学习（十五）无监督学习之关联分析（Apriori, FP-growth）
文章目录 0. 前言 1. Apriori算法 1.1. 寻找频繁项集 1.2. 挖掘关联规则 2. FP-growth算法 2.1. 构建FP树 2.2. 寻找频繁项集如果这篇文章对你有一点小小的 ...
西瓜书+实战+吴恩达机器学习（十四）无监督学习之聚类（k-means, LVQ, 高斯混合聚类, DBSCAN, AGNES）
文章目录 0. 前言 1. 性能度量 1.1. 外部指标 1.2. 内部指标 2. 距离计算 3. k-means算法 4. 学习向量量化 5. 高斯混合聚类 6. 密度聚类 DBSCAN 7. 层次 ...
西瓜书+实战+吴恩达机器学习（十九）特征选择（过滤式选择、包裹式选择）
文章目录 0. 前言 1. 过滤式选择 2. 包裹式选择如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言特征选择是一个很重要的数据预处理过程: 选择出重要的特征 ...
西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）
文章目录 0. 前言 1. 主成分分析PCA 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言维数灾难:在高维情形下出现的数据样本稀疏.距离计算困难等问题. 缓解 ...
西瓜书+实战+吴恩达机器学习（十六）半监督学习（半监督SVM、半监督k-means、协同训练算法）
文章目录 0. 前言 1. 半监督SVM 2. 半监督k-means 2.1. 约束k-means 2.2. 约束种子k-means 3. 协同训练算法如果这篇文章对你有一点小小的帮助,请给个关注, ...

西瓜书+实战+吴恩达机器学习（十二）监督学习之AdaBoost

文章目录

0. 前言

1. AdaBoost算法

西瓜书+实战+吴恩达机器学习（十二）监督学习之AdaBoost相关推荐

最新文章

热门文章