随机森林 OOB理解

一个大小为N的数据集D.

1.有一个问题是, 对于随机森林的每一棵CART树是怎么训练的, 如何划分训练集测试集?

Bootstrap, 对数据集随机有放回抽样N次作为一棵CART树的训练集.

根据概率论,可知数据集中有大约1/3的数据是没有被选取的(称为Out of bag),所以就是这没被选取的部分作为小树的测试集.

2. 接下来的问题是, 怎么测试随机森林的性能, 测试集是什么?

这里其实理解的有偏差: 随机森林有一个重要的优点就是，没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估，也就是说在生成的过程中就可以对误差建立一个无偏估计。

实际上, 数据集D中的每一个样本都可以拿来做测试数据, 对于一个样本d, 森林中大约有1/e树是OOB的, 那么这1/e的树就构成了预测样本d的森林,用简单投票法计算分类结果. 从而得到总的error.

(Put each case left out in the construction of the kth tree down the kth tree to get a classification. In this way, a test set classification is obtained for each case in about one-third of the trees. At the end of the run, take j to be the class that got most of the votes every time case n was oob. The proportion of times that j is not equal to the true class of n averaged over all cases is the oob error estimate. This has proven to be unbiased in many tests.)原文

随机森林 OOB理解相关推荐

随机森林参数理解与调优
首先理解随机森林模型各参数的含义: class sklearn.ensemble.RandomForestRegressor(n_estimators=10, criterion='mse', max ...
随机森林OOB score作用
https://blog.csdn.net/MingRachel/article/details/115038730
集成学习—随机森林原理（理解与论文研读）
如果只想大致理解下随机森林的原理请看第一部分,第二部分是对原论文的研读(灰色引用标记的为证明或自己的理解),这部分可能需要花的时间比较长,不需要的可以忽略. 此外,文末列出来的参考视频,如果读论文还是 ...
关于随机森林的一些理解
目录随机森林简介优缺点优点缺点 sklearn中随机森林参数简单实现小节随机森林简介随机森林是一种只关注决策树的集成学习方法,由Leo Breiman和 Adele Cutler提出, ...
Bagging与随机森林算法原理小结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在集成学习原理小结中,我们讲到了集成学习有两个流派,一个是boos ...
使用随机森林（Random Forest）进行特征筛选并可视化
使用随机森林(Random Forest)进行特征筛选并可视化随机森林可以理解为Cart树森林,它是由多个Cart树分类器构成的集成学习模式.其中每个Cart树可以理解为一个议员,它从样本集里面随机 ...
RF（随机森林）算法原理及其派生算法
1.前言集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系.另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合.本文就对集成学习中Ba ...
python机器学习案例系列教程——集成学习（Bagging、Boosting、随机森林RF、AdaBoost、GBDT、xgboost）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程可以通过聚集多个分类器的预测结果提高分类器的分类准确率,这一方法称为集成(Ensemble)学习或分类器组合(Classifier C ...
随机森林实例：利用基于CART算法的随机森林（Random Forest）树分类方法对于红酒质量进行预测
随机森林实例:利用基于CART算法的随机森林(Random Forest)树分类方法对于红酒质量进行预测 1.引言 2.理论基础 2.1 什么是决策树 2.2 特征选择的算法 2.2.1 ID3:基于 ...
机器学习实验——使用决策树和随机森林对数据分类
实验要求: 使用决策树算法和随机森林算法对income_classification.csv的收入水平进行分类.训练集和测试集的比例是7:3,选取适当的特征列,使得针对测试样本的分类准确率在80%以上 ...

随机森林 OOB理解

随机森林 OOB理解相关推荐

最新文章

热门文章