随机森林的基分类器可否由决策树替换为线性分类器或者K-NN？

分析

随机森林（Random Forest）

随机森林（RF）是Bagging算法族中的一种，RF是以决策树为基分类器构建Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性选择。

具体来说：传统决策树在选择划分属性时是在当前结点的属性集合（假设有d个属性）中选择一个最优属性；而在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分。

即RF中的基学习器的多样性不进来自样本扰动，还来自属性扰动。

方差-偏差

从方差-偏差角度来说，Bagging算法主要是降低方差，即RF测试结果的方差比每一个基学习器的方差要小！！

解答

Bagging所采用的基分类器，最好是对样本分布比较敏感（即就是 不稳定的分类器）。

线性分类器或者K-NN都是比较稳定的算法，对异常点不敏感，并且本身方差就不大，所以用它们做基分类器使用Bagging并不能在原有基础上获得好的结果，甚至，因为Bagging的采样，而导致它们在训练中难以收敛，从而增大了集成分类的偏差！！！

随机森林的基分类器可否由决策树替换为线性分类器或者K-NN？相关推荐

机器学习——集成学习算法（Adaboost、随机森林）
集成算法简述什么是集成学习如何得到多个个体学习器集成学习常用算法 Bagging 自助采样学习器结合包外估计随机森林 Adaboost Boosting Adaboost算法原理注意什 ...
sklearn实现随机森林（分类算法）
阿喽哈~小伙伴们,今天我们来唠一唠随机森林 ♣ ♣ ♣ 随机森林应该是很多小伙伴们在学机器学习算法时最先接触到的集成算法,我们先简单介绍一下集成学习的大家族吧: Bagging:个体评估器之间不存在强 ...
【机器学习】随机森林 – Random forest
文章目录一.随机森林是什么? 1. 随机森林是一种集成学习算法 2. 随机森林的基学习器是决策树二.随机森林 – Random Forest | RF 三.构造随机森林的 4 个步骤四.随机森林 ...
sklearn分类器算法：决策树与随机森林及案例分析
分类算法之决策树决策树是一种基本的分类方法,当然也可以用于回归.我们一般只讨论用于分类的决策树.决策树模型呈树形结构.在分类问题中,表示基于特征对实例进行分类的过程,它可以认为是if-then规则的 ...
【机器学习基础】(五)：通俗易懂决策树与随机森林及代码实践
与SVM一样,决策树是通用的机器学习算法.随机森林,顾名思义,将决策树分类器集成到一起就形成了更强大的机器学习算法.它们都是很基础但很强大的机器学习工具,虽然我们现在有更先进的算法工具来训练模型,但决 ...
2.1.决策树和随机森林
2.1.决策树和随机森林决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用 ...
12_信息熵，信息熵公式，信息增益，决策树、常见决策树使用的算法、决策树的流程、决策树API、决策树案例、随机森林、随机森林的构建过程、随机森林API、随机森林的优缺点、随机森林案例
1 信息熵以下来自:https://www.zhihu.com/question/22178202/answer/161732605 1.2 信息熵的公式先抛出信息熵公式如下: 1.2 信息熵信 ...
机器学习的几种方法（knn，逻辑回归，SVM，决策树，随机森林，极限随机树，集成学习，Adaboost，GBDT）
一.判别模式与生成模型基础知识举例:要确定一个瓜是好瓜还是坏瓜,用判别模型的方法是从历史数据中学习到模型,然后通过提取这个瓜的特征来预测出这只瓜是好瓜的概率,是坏瓜的概率. 举例:利用生成模型是根 ...
机器学习利器——决策树和随机森林
更多深度文章,请关注:https://yq.aliyun.com/cloud 决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率, ...
R语言︱决策树族——随机森林算法
每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:有一篇<有监督学习选择深度学习 ...

随机森林的基分类器可否由决策树替换为线性分类器或者K-NN？

分析

随机森林（Random Forest）

方差-偏差

解答

随机森林的基分类器可否由决策树替换为线性分类器或者K-NN？相关推荐

最新文章

热门文章