关于随机森林改进的理解

随机森林作为一种集成学习方法，它是由一系列基学习器构成的，构成及学习器的方法就是通过随机化采样的方法，来构成不同泛化边界的基学习器，然后在通过简单的投票法来结合出最后的集成模型。

这种简单的模型，在UCI糖尿病数据集的实践中，性能的提高有限，于是，希望在已有模型的基础上做改进来改善模型，以下是改善模型的几点想法

首先通过随机化方法来引入误差，构成的基学习器，在训练集上的性能参差不齐，我们通过AUC的指标值来选取性能较优的基学习器。但是如果这些基学习器是一些相同的相近的学习器，就不能通过集成来提高性能，实际上由于引入了随机化误差，就算AUC的值相近，基学习器依然有很大的相异性，在实践中，对模型性能有提高。
其次，增加基学习器之间的多样性，我们希望找到一定的量化指标，来表明这些多样性。现有的两个多样性的方向，有行为多样性即在训练集上两个基学习器上的表现，这个表现在一定程度上表征出基学习器的泛化边界，但是训练集依旧是小样本，无法完全表征泛化边界。还有就是结构多样性，同样这个指标也是用来表征泛化边界的。
对于，通过泛化性能表现，来选择基学习器，来改善模型，还没有在自己的实践中通过验证。

参考论文：

How to compare and interpret two learnt Decision Trees from the same Domain?
Petra Perner
Institute of Computer Vision and Applied Computer Sciences, IBaI
Postbox 30 11 14, 04251 Leipzig
Structural Diversity for Decision Tree Ensemble Learning
Tao SUN, Zhi-Hua ZHOU
National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023, China
王日升,谢红薇,安建成.基于分类精度和相关性的随机森林算法改进[J].科学技术与工程,2017,17(20):67-72.

关于随机森林改进的理解相关推荐

对于随机森林的通俗理解
原文:http://blog.csdn.net/mao_xiao_feng/article/details/52728164 对于随机森林的通俗理解一.决策树决策树是机器学习最基本的模型,在不考虑 ...
集成学习—随机森林原理（理解与论文研读）
如果只想大致理解下随机森林的原理请看第一部分,第二部分是对原论文的研读(灰色引用标记的为证明或自己的理解),这部分可能需要花的时间比较长,不需要的可以忽略. 此外,文末列出来的参考视频,如果读论文还是 ...
决策树、装袋、提升和随机森林的对比理解
决策树决策树是一种简单.常用的基础模型.之所以说它简单,不仅因为它的思想原理简单具体.贴近实际,它并不需要像线性回归模型一样用一个数学公式来表征,而是由规则来抽象.说它基础,是因为它是一系列复杂强大 ...
关于随机森林的一些理解
目录随机森林简介优缺点优点缺点 sklearn中随机森林参数简单实现小节随机森林简介随机森林是一种只关注决策树的集成学习方法,由Leo Breiman和 Adele Cutler提出, ...
Kaggle实战：随机森林预测泰坦尼克生存率
一.项目背景和分析需求的提出泰坦尼克号出事后,收集了乘客的各项数据,包括: PassengerId.Survived.Pclass.Name.Sex.Age.SibSp.Parch.Ticket.F ...
比较全面的随机森林算法总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达前言上节介绍了集成学习方法包括bagging法和boosting ...
Python机器学习09——随机森林
本系列所有的代码和数据都可以从陈强老师的个人主页上下载:Python数据程序参考书目:陈强.机器学习及Python应用. 北京:高等教育出版社, 2021. 本系列基本不讲数学原理,只从代码角度去让 ...
机器学习——动手从决策树实现随机森林
本文始发于个人公众号:TechFlow,原创不易,求个关注今天是机器学习专题的第26篇文章,我们一起聊聊另外一个集成学习模型,它就是大名鼎鼎的随机森林. 随机森林在业内名气和使用范围都很广,曾经在许 ...
随机森林算法参数解释及调优转胡卫雄 RF模型可以理解成决策树模型嵌入到bagging框架，因此，我们首先对外层的bagging框架进行参数择优，然后再对内层的决策树模型进行参数择优
RF参数择优思想:RF模型可以理解成决策树模型嵌入到bagging框架,因此,我们首先对外层的bagging框架进行参数择优,然后再对内层的决策树模型进行参数择优.在优化某一参数时,需要把其他参数设置 ...

关于随机森林改进的理解

关于随机森林改进的理解相关推荐

最新文章

热门文章