【算法】集成学习原理

【博客地址】：https://blog.csdn.net/sunyaowu315
【博客大纲地址】：https://blog.csdn.net/sunyaowu315/article/details/82905347

集成学习的思路是通过合并多个模型来提升机器学习性能，这种方法相较于当个单个模型通常能够获得更好的预测结果。这也是集成学习在众多高水平的比赛如奈飞比赛，KDD和Kaggle，被首先推荐使用的原因。

一集成思想主要分为三大类：

① 用于减少方差的bagging。通过自助采样的方法生成众多并行式的分类器，通过“少数服从多数”的原则来确定最终的结果（典型算法为随机森林）。

② 用于减少偏差的boosting，翻译过来就是提升的意思，即通过将弱学习器集成在一起提升为强学习器来提高预测精度（典型算法为AdaBoost、GBDT、xgboost）；

③ 用于提升预测结果的stacking，之后介绍。

二集成学习方法可以归为两大类：

① 串行集成方法，这种方法串行地生成基础模型（如AdaBoost）。串行集成的基本动机是利用基础模型之间的依赖。通过给错分样本一个较大的权重来提升性能。

② 并行集成方法，这种方法并行地生成基础模型（如Random Forest）。并行集成的基本动机是利用基础模型的独立性，因为通过平均能够较大地降低误差。

大部分集成模型都通过一个基础学习算法来生成一个同质的基础学习器，即同类型的学习器，也叫同质集成。

有同质集成就有异质集成，为了集成后的结果表现最好，异质基础学习器需要尽可能准确并且差异性够大。

参考：
机器学习集成学习–bagging、boosting、stacking

【算法】集成学习原理相关推荐

集成学习原理小结(转载)
集成学习(ensemble learning)可以说是现在非常火爆的机器学习方法了.它本身不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务.也就是我们常说的"博采众 ...
机器学习-Adaboost 算法(集成学习)
本文结构: 什么是集成学习? 为什么集成的效果就会好于单个学习器? 如何生成个体学习器? 什么是 Boosting? Adaboost 算法? 什么是集成学习集成学习就是将多个弱的学习器结合起来组成 ...
机器学习算法——集成学习1（个体与集成）
集成学习(Ensemble Learning)通过构建并结合多个学习器来完成学习任务. 上图为集成学习的一般结构:先产生一组"个体学习器",再用某种策略将它们结合起来. 个体学习器 ...
Android MTK三方算法集成学习
MTK官方资料/优秀学习博客分享 MTK HAL算法集成之单帧算法 MTK HAL算法集成之双摄算法 3rd Party ALGO Integrate Capture 3rd ALGO HAL三方算法 ...
机器学习实战-54: 集成学习分类算法(ada-boost)
集成学习分类算法深度学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 集成学习分类算法(ada-boost)属于监督学习算法.常用分类算法包括:逻辑回归(Logistic Regress ...
深度学习原理-----逻辑回归算法
系列文章目录深度学习原理-----线性回归+梯度下降法深度学习原理-----逻辑回归算法深度学习原理-----全连接神经网络深度学习原理-----卷积神经网络深度学习原理-----循环神经网 ...
集成学习（期末复习）
集成学习参考: 机器学习-浅谈随机森林的几个tricks:https://zhuanlan.zhihu.com/p/29408863 机器学习算法之Boosting:https://www.biao ...
机器学习之集成学习概述
目录集成方法概述学习器生成策略(串行)--boosting 学习器生成策略(并行)-- bagging.Random Forest 结合策略之学习法--堆叠法(Stacking) 传送门集成方法 ...
集成学习（含常用案列）
集成学习原理: 工作原理是生成多个分类器/模型,各自独立地学习和作出预测.这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测集成学习算法分类: 集成学习算法一般分为:bagging.boo ...

【算法】集成学习原理

【算法】集成学习原理相关推荐

最新文章

热门文章