装袋法（bagging）和随机森林（random forests）的区别

bagging method 和random forests 一般都是应用在决策树中。这篇文章只讨论bagging method 和random forests 的区别。

bagging method 的思想：假设一个数据集L，通过Boostrap(自助抽样)有放回的抽样n次，那么产生了n个样本数据集，记为n个train集。

第一步：我们将这n个train集进行训练，因此产生了n个基分类器，也可以说是n个决策树

第二步：利用这n个基分类器对测试集进行预测，因此会得到n个结果。

第三步：采取多数投票（majorty vote）:将n个预测的结果出现频率最高的类作为总体预测。

仔细思考下会出现一些新的问题，如果一个数据集有一个很强的预测变量和一些中等强度的预测变量，那么可以想到，大多数（甚至所有）的树都会将最强的预测变量用于顶部分裂点，这会造成所有的装袋法树看起来都很相似。与不相关的量求平均相比，对许多高度相关的量求平均带来的方差减小程度是无法与前者相提并论的。在这种情况下，装袋法与单棵树相比不会带来方差的重大降低。这个问题是装袋法一个很致命的问题。那么下面我们来看看random forests method.

random forests 我们称为随机森林，其实随机森林是对装袋法的一种改进，随机森林也需要对自助抽样训练集建立一系列的决策树，这和决策树类似。不过，随机森林在建立树的时候，不和装袋法一样，装袋法建树的时候是将所有预测变量都考虑进去，而随机森林则是考虑每一个分裂点时，都是从所有的预测变量p中随机选取m个预测变量，分裂点所用的预测变量只能从这m个变量中选择。在每个分裂点处都重新进行抽样，选出m个预测变量，通常m≈√p，对每一个分裂点来说，这个算法将大部分可用预测变量排除在外，虽然听起来crazy,但是这个原理是很巧妙的。

其实当随机森林中的m=p时，随机森林和装袋法是一样的。随机森林考虑每个分裂点的子集相对来说比装袋法少很多。这样得到的树的平均值有更小的方差，因而树的可信度相对来说比较高。

装袋法（bagging）和随机森林（random forests）的区别相关推荐

统计学中的Bootstrap方法（Bootstrap抽样）用来训练bagging算法，如果随机森林Random Forests
统计学中的Bootstrap方法(Bootstrap抽样)用来训练bagging算法,如果随机森林Random Forests 提示:系列被面试官问的问题,我自己当时不会,所以下来自己复盘一下,认真学 ...
随机森林 (Random Forests) 简单介绍与应用
1 集成方法(Ensemble methods) 1.1 什么是集成方法简单来说,集成方法就是组合多个模型,以获得更好效果. 1.2 两种集成方法平均法(averaging methods):也 ...
决策树、装袋、提升和随机森林
决策树是一种简单.常用的基础模型.之所以说它简单,不仅因为它的思想原理简单具体.贴近实际,它并不需要像线性回归模型一样用一个数学公式来表征,而是由规则来抽象.说它基础,是因为它是一系列复杂强大的模型的 ...
机器学习方法（六）：随机森林Random Forest，bagging
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 前面机器学习方法(四)决策树讲了经典 ...
随机森林Random Forest，bagging
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 前面机器学习方法(四)决策树讲了经 ...
Bagging与随机森林算法原理小结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在集成学习原理小结中,我们讲到了集成学习有两个流派,一个是boos ...
(转载)机器学习知识点(十七)Bagging与随机森林算法原理小结
集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系.另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合.本文就对集成学习中Bagging ...
监督学习 | 集成学习之Bagging、随机森林及Sklearn实现
文章目录集成学习 1. 投票分类器 1.1 硬投票法 1.2 软投票法 2. Bagging & Pasting 2.1 包外评估 2.2 Random Patches 和随机子空间 3. ...
【机器学习－西瓜书】八、Bagging；随机森林（RF）
8.3 Bagging 与随机森林关键词: Bagging : 随机森林: 8.3.1 Bagging 上上一节已经提到,集成学习首要任务就是要解决个体学习器 "好而不同",要 ...
集成学习——BAGGING和随机森林
集成学习--BAGGING和随机森林集成学习--BAGGING和随机森林 1.什么是集成学习 2.怎样进行集成学习 3.Bagging方法 4.Bagging方法训练.预测过程 5.Bagging方 ...

装袋法（bagging）和随机森林（random forests）的区别

装袋法（bagging）和随机森林（random forests）的区别相关推荐

最新文章

热门文章