Bagging算法

特点：

Bagging是一种框架算法，以随机森林（RDF）算法为代表。
采用的是随机有放回的选择训练数据然后构造分类器，最后组合。
从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复）
对于k个训练集，我们训练k个模型（这k个模型可以根据具体问题而定，比如决策树，knn等）
对于分类问题：由投票表决产生分类结果；对于回归问题：由k个模型预测结果的均值作为最后预测结果。（所有模型的重要性相同）

图示

随机森林算法（Random Forests）

算法的优缺点

随机森林的主要优点是：

具有极高的准确率
随机性的引入，使得随机森林不容易过拟合
随机性的引入，使得随机森林有很好的抗噪声能力
能处理很高维度的数据，并且不用做特征选择
既能处理离散型数据，也能处理连续型数据，数据集无需规范化
训练速度快，可以得到变量重要性排序
容易实现并行化

随机森林的主要缺点是：

当随机森林中的决策树个数很多时，训练时需要的空间和时间会较大
随机森林模型还有许多不好解释的地方，有点算个黑盒模型

算法过程

从原始训练集中使用Bootstraping方法随机有放回采样选出m个样本，共进行n_tree次采样，生成n_tree个训练集
对于n_tree个训练集，我们分别训练n_tree个决策树模型
对于单个决策树模型，假设训练样本特征的个数为n，那么每次分裂时根据信息增益/信息增益比/基尼指数选择最好的特征进行分裂
每棵树都一直这样分裂下去，直到该节点的所有训练样例都属于同一类。在决策树的分裂过程中不需要剪枝
将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果

图示

机器学习 —— Bagging算法相关推荐

机器学习 - [集成学习]Bagging算法的编程实现
机器学习 - [集成学习] Bagging算法的编程实现李俊才的 CSDN 博客:https://blog.csdn.net/qq_28550263?spm=1001.2101.3001.5343 ...
机器学习之集成学习（Boosting算法、Bagging算法、Stacking算法）总结
1.集成学习概述机器学习分为有监督学习算法和无监督学习算法.在有监督学习中,我们的目标是学习一个稳定的且各方面都表现较好的模型.但是,实际情况往往不理想,有时我们只能得到多个在某些方面表现比较好的& ...
Bagging算法最全解析-机器学习
Bagging算法报告目录基本概念以及算法流程 1 1.1基本概念 1 1.2 算法流程 1 基本性质及其物理意义 3 2.1. 自举汇聚法 3 2.2. OOB 错误 4 类似算法分析比较 5 ...
机器学习与算法面试太难？
机器学习与算法面试太难? 来源: https://mp.weixin.qq.com/s/GrkCvU2Ia_mEaQmiffLotQ 作者:石晓文八月参加了一些提前批的面试,包括阿里.百度.头条.贝 ...
机器学习常见算法及优缺点！
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容 ? Index 决策树算法分类算法聚类算法集成算法(AdaBoost算法) 人工 ...
机器学习Top10算法，教你选择最合适的那一个！
本文经AI新媒体量子位(公众号ID:qbitai )授权转载,转载请联系出处本文共3800字,建议阅读6分钟. 选什么算法?本文为你梳理TOP10机器学习算法特点. 在机器学习领域里,不存在一种万能 ...
来!一起捋一捋机器学习分类算法
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自:算法与数学之美可是,你能够如数家珍地说出所有常用的分类算法,以及他们的特征.优 ...
【机器学习】机器学习Top10算法，教你选择最合适的那一个！一文读懂ML中的解析解与数值解...
在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其是像预测建模的监督学习里. 比方说,神经网络不见得比决策树好,同样反过来也不成立. 最后的结果是有很多因素在起作用的,比方说数据集的大小 ...
人工智能之机器学习常见算法
https://blog.csdn.net/BaiHuaXiu123/article/details/51475384 摘要之前一直对机器学习很感兴趣,一直没时间去研究,今天刚好是周末,有时间去各大 ...

机器学习 —— Bagging算法

Bagging算法

特点：

图示

随机森林算法（Random Forests）

算法的优缺点

算法过程

图示

机器学习 —— Bagging算法相关推荐

最新文章

热门文章