Adaboost算法——详细讲解

最近在做集成学习的时候，对Adaboost非常感兴趣，就自己复现了这个程序。

首先提升方法是基于这样的一个思想：对于一个复杂的任务来说，通将多个专家的判断进行适当的综合所得到的判断，这样得到的结果会比单个专家的判断要好。

Adaboost做法的核心问题，是通过提高前一轮分类器分类错误的样本的权值，降低分类分类正确的样本权值，对于那些没有本分类正确的样本会得到后面分类器更多的关注。然后可以产生很多的弱分类器，通过多数加权投票组合这些弱分类器，加大误差率小的分类器，减少误差率大的分类器，使其在表决中起到较少的作用。

Adaboost算法流程：

假设给定一个二分类的训练数据集

在这里x 代表输入的样例，y代表样例所属的类别空间。

在这里，Adaboost输入的是带标签的样例空间，输出的是最终的学习器。

（1）初始化训练数据的权值分布。

（2）对于M（代表分类器的个数）个分类器，分别使用带权值分布的数据进行训练，在这里很多人在编程序的时候忘记把输入带权值的数据，而是一直用的是原始数据作为一个输入。那么第一次训练之后得到一个基分类器Gm(x)

（a）计算在Gm(x)上的分类错误率（这里注意分类错误率指的是被分类器分类错误的样本前面权值相加的和，不是分类错误样本比总样本，这里格外需要注意）

（b）计算得到Gm(x)的系数可以得到

（c）更新训练数据的权值分布

（3）构建基分类器的线性组合。

最终的分类器是

以上分析了Adaboost的大致流程，讲了几个在编程中需要注意的点，有遇到其他问题的欢迎评论区讨论留言。

Adaboost算法——详细讲解相关推荐

Adaboost算法详细讲解
转自线上数据建模 Adaboost算法详细讲解 Adaboost(Adaptive Boosting): Adaboost是Boosting模型,和bagging模型(随机森林)不同的是:Adaboo ...
dijkstra标号法表格_Dijkstra算法详细讲解
最短路径之 Dijkstra 算法详细讲解 1 最短路径算法在日常生活中,我们如果需要常常往返 A 地区和 B 地区之间,我们最希望知道的可能是从 A 地区到 B 地区间的众多路径中,那一条路径的 ...
lamport面包店算法详细讲解及代码实现
lamport面包店算法详细讲解及代码实现 1 算法详解 1.1 一个较为直观的解释 1.2 Lamport算法的时间戳原理 1.3 Lamport算法的5个原则 1.4 一个小栗子 2 算法实现 3 ...
模拟退火算法详细讲解（含实例python代码）
模拟退火算法详细讲解(含实例python代码) (一)模拟退火算法简介 (二)模拟退火算法原理 (三)退火过程中参数控制 (四)算法步骤 (五)实例分析最近老师要求做模拟退火算法实验,看了很多博客之 ...
C语言老鼠走迷宫(单路径)算法详细讲解
最近在学习C语言的一些经典算法,其中遇到了一点困难,导致卡进度了.琢磨了很久,在绘制流程图时,突然灵感大开理解了,老鼠走迷宫算法的奇妙.所以写了这个,一来是方便以后右和我类似的同学自学时,遇到这个问题 ...
Dijkstra算法详细讲解
Dijkstra算法详细解释 Dijkstra算法适用于边权值为正的情况,如果边权值为负数就才用另一种最短路算法Bellman-Ford算法. 该算法是指从单个源点到各个结点的最短路,该算法适用于有 ...
排序算法详细讲解（超酷）
目录前言一.插入类排序 1.直接插入排序 2.折半插入排序 3.希尔排序二.交换类排序 1.冒泡排序(相邻比序法) 2.快速排序三.选择类排序 1.简单选择排序 2.树形选择排序 3.堆排序 ...
AdaBoost算法详细介绍
一.Boosting算法 Boosting集成分类器包含多个非常简单的成员分类器,这些成员分类器的性能仅好于随机猜想,常被称为弱学习机.典型的弱学习机的例子就是单层决策树.Boosting算法主要针对 ...
AdaBoost算法通俗讲解
AdaBoost是元算法中最流行的一种,也被认为是最好的监督学习的方法 . 一.元算法元算法(meta-algorithm),也被称作集成方法(ensemble method),是对其他算法进行组合 ...

Adaboost算法——详细讲解

Adaboost算法——详细讲解相关推荐

最新文章

热门文章