随机森林之oob error 估计
摘要:在随机森林之Bagging法中可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中,当然也就没有参加决策树的建立,那是不是意味着就没有用了呢,答案是否定的。我们把这1/3的数据称为袋外数据oob(out of bag),它可以用于取代测试集误差估计方法.
在论文:
1:Bias,variance and prediction error for classification rules.<Robert Tibshiranni>
2: An Efficient Method To Estimate Baggin’s Generalization Error.<David H.Wolpert and William G.Macready>
3:Bagging Predictors,Machine Learning (1996)<Breiman>
中,作者都建议利用OOB error 估计作为泛化误差估计的一个组成部分,并且Breiman在论文中给出了经验性实例表明袋外数据误差估计与同训练集一样大小的测试集得到的精度一样,这样也就表明袋外数据(oob)误差估计是一种可以取代测试集的误差估计方法。
袋外数据(oob)误差的计算方法如下:
对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外数据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类,因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=X/O;这已经经过证明是无偏估计的,所以在随机森林算法中不需要再进行交叉验证或者单独的测试集来获取测试集误差的无偏估计。
转载于:https://www.cnblogs.com/justcxtoworld/p/3434266.html
随机森林之oob error 估计相关推荐
- 机器学习:随机森林原理 OOB等
看了好多博客介绍随机森林,感觉这几个讲的挺好的,有的有python代码,分享给大家: 1.评测了17个分类器族-192个非神经网络分类器,其中Rfs综合评价效果最好:https://dl.acm.or ...
- [Machine Learning] Random Forest 随机森林
阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率(oob error) 6 随机森林工作原理解释的一个简单例子 7 随机森林的Pyth ...
- 随机森林实例:利用基于CART算法的随机森林(Random Forest)树分类方法对于红酒质量进行预测
随机森林实例:利用基于CART算法的随机森林(Random Forest)树分类方法对于红酒质量进行预测 1.引言 2.理论基础 2.1 什么是决策树 2.2 特征选择的算法 2.2.1 ID3:基于 ...
- 【机器学习】 随机森林(Random Forest)
1 什么是随机森林? 作为新兴起的.高度灵活的一种机器学习算法,随机森林(Random Forest,简称RF)拥有广泛的应用前景,从市场营销到医疗保健保险,既可以用来做市场营销模拟的建模,统计客户来 ...
- [Machine Learning Algorithm] 随机森林(Random Forest)
1 什么是随机森林? 作为新兴起的.高度灵活的一种机器学习算法,随机森林(Random Forest,简称RF)拥有广泛的应用前景,从市场营销到医疗保健保险,既可以用来做市场营销模拟的建模,统计客户来 ...
- 随机森林算法及其实现(Random Forest)
阅读目录 1 什么是随机森林? 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率(oob error) 6 随机森林工作原理解释的一个简单例子 7 随机森林的Pyth ...
- 机器学习:随机森林RF-OOB袋外错误率
文章讲解比较详细,且有Python代码,可以作为有用的参考.转载博客时候,竟然抄错成OBB了,也是悲剧................ 有篇神文评测了17个分类器族-192个非神经网络分类器,其中Rf ...
- 机器学习 - 随机森林 Random Forest
先修知识: 决策树.可以看我之前写的文章https://blog.csdn.net/weixin_41332009/article/details/112276531 集成学习.也可以看之前写的文章h ...
- 决策树Decision Tree 和随机森林RandomForest基本概念(一)
文章目录 一.决策树介绍 1.1 什么是决策树 1.2 决策树种类 1.3 决策树学习过程 1.4 Entropy(熵) 1.5 information gain(信息增益) 1.6 信息论 1.8 ...
最新文章
- puppet安装常遇见的问题
- Spring Boot开始
- Python并发编程之多进程(一)
- 蓝桥杯 2011年第二届C语言初赛试题(5)
- 【学习笔记】深入理解js原型和闭包(9)—— 简述【执行上下文】下
- java中之内存溢出说明
- jQuery自动完成点击html元素
- 程序员这样面试,拿到offer的几率是非常大
- mysql升更新命令_MySQL升级的3种方法
- OpenGL超级宝典(第7版)之第七章顶点处理与绘图命令
- SPSS常用的几种统计分析
- 在阿里,一个完整的机器学习项目是这样运作的。
- ubuntu下dbus工具d-feet不显示路径和接口
- 夜天之书 #19 The ZeroMQ Community
- O2O模式有发展前景吗 o2o怎么盈利?
- 红孩儿编输器的模块设计14
- JavaScript面试题汇总
- 撰写全英文EI会议论文值得注意的要点!
- 电脑快捷修改计算机名
- ABAP-ITS Mobile
热门文章
- maven 公用仓库_maven公共仓库 - yizhichao的个人页面 - OSCHINA - 中文开源技术交流社区...
- pyqt5教程13:客户定制组件
- 天河二号 服务器 操作系统,天河二号云服务器
- PHp批量推送数据太慢,PHP非阻塞批量推送数据-php教程
- MySQL不能查看表_mysql root用户登录后无法查看数据库全部表
- ai画面怎么调大小_怎么使用pr(adobe premiere)裁剪视频画面的大小
- vs配置不依赖其他包路径
- 在ThoughtWorks工作两个多月的总结
- C++面试宝典2011版
- Java程序员从笨鸟到菜鸟之(七十八)细谈Spring(七)spring之JDBC访问数据库及配置详解