Adaboost、RandomFrest、GBRT的区别

Adaboost、RandomFrest、GBRT都是基于决策树的组合算法

Adaboost是通过迭代地学习每一个基分类器，每次迭代中，把上一次错分类的数据权值增大，正确分类的数据权值减小，然后将基分类器的线性组合作为一个强分类器，同时给分类误差率较小的基本分类器以大的权值，给分类误差率较大的基分类器以小的权重值。

Adaboost使用的是自适应的方法，其中概率分布式变化的，关注的是难分类的样本。

随机森林RandomForest算法通过随机的方式建立一个森林，森林里的树相互独立。在新样本进来时，采用投票抉择出其所属的类别（分类问题）

在建树的过程中，有两点需要注意，即采样与完全分裂。随机森林不仅对样本进行抽样，还对变量进行抽样。

RF对输入的数据采用有放回的方式获取N个样本（行采样），这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，相对不容易出现over-fitting过拟合，然后从M个feature特征中，选择m个(m << M)（列采样）；之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个类别，分裂的办法是：采用上面说的列采样的过程从这m个属性中采用某种策略（比如说信息增益）来选择1个属性作为该节点的分裂属性

RF的两个随机采样的过程保证了随机性，所以就算不剪枝也不会出现over-fitting。随机森林的分类准确率可以与adaboost媲美。它对噪声数据更加鲁棒，运行速度比adaboost也快得多。

梯度提升树的每一次计算都是为了减少上一次的残差(residual)，而为了减少这些残差，可以在残差减少的梯度(Gradient)方向上建立一个新模型。所以说，在Gradient Boost中，每个新模型的建立是为了使得先前模型残差往梯度方向减少

摘自：http://blog.csdn.net/dream_angel_z/article/details/48085889

转载于:https://www.cnblogs.com/xiaoyun94/p/7390201.html

Adaboost、RandomFrest、GBRT的区别相关推荐

adaboost和GBDT的区别以及xgboost和GBDT的区别
adaboost和GBDT的区别以及xgboost和GBDT的区别 AdaBoost:提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值.这样一来,那些没有得到正确分类的数据, ...
gtb分类器参数调节_机器学习算法梯度树提升GTB（GBRT）
Introduction 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比 ...
gtb分类器参数调节_机器学习算法-梯度树提升GTB（GBRT）
Introduction 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比 ...
统计学习方法笔记（8）——提升方法之梯度树提升GTB（GBRT）
Introduction 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比 ...
AdaBoost中样本权重对弱分类器的影响与作用
AdaBoost中样本权重对弱分类器的影响与作用最近在尝试用集成学习中的AdaBoost对项目进行改进,对AdaBoost做了一些学习,之前也了解过这个算法,大概懂得是个什么思想,个人理解就是,对每 ...
gtb分类器参数调节_Gradient Tree Bo
在机器学习各大算法中,决策树这种算法有着很多良好的特性,其现有的特点就有训练的时间复杂度OmegaOmega较低,对新样本预测的过程比较快,同时模型容易展示(容易将得到的决策树做成图片展示出来)等.但 ...
机器学习算法之集成学习
集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器.弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5) ...
技术面常见问题（持续更新）
一.数学基础: 1.微积分 1.SGD,Momentum,Adagard,Adam原理 SGD为随机梯度下降,每一次迭代计算数据集的mini-batch的梯度,然后对参数进行更新. Momentum参 ...
模型损失函数变化曲线图_第3章第6节模型融合和提升的算法
● bagging和boosting的区别参考回答: Bagging是从训练集中进行子抽样组成每个基模型所需要的子训练集,然后对所有基模型预测的结果进行综合操作产生最终的预测结果. Boosting ...

Adaboost、RandomFrest、GBRT的区别

Adaboost、RandomFrest、GBRT的区别相关推荐

最新文章

热门文章