[机器学习入门第八章]集成学习

2024-04-23 03:46:36

8.1个体与集成

集成学习通过构建多个学习器来完成学习任务，（注意和多模型融合不一样）。

个体学习器通常由一个算法训练数据产生，包括单一同质（homogeneous),和不同模型融合的异质（hetegeneous),异质集成的个体学习器由不同的学习算法产生，。
集成学习的结果由投票产生。
某种意义上，孔多塞陪审团定理形象的描述了上面提到的集成概念。该定理的内容为：如果评审团的每个成员做出独立判断，并且每个陪审员做出正确决策的概率高于 0.5，那么整个评审团做出正确的总体决策的概率随着陪审员数量的增加而增加，并趋向于一。另一方面，如果每个陪审员判断正确的概率小于 0.5，那么整个陪审团做出正确的总体决策的概率随着陪审员数量的增加而减少，并趋向于零。

✅:表示预测正确。 ❌：表示预测错误。

从图中可以看出来，1.要获得好的集成，个体学习器要有一定准确性。2.学习器间有适当差异，即多样性。
根据个体学习器的生成方法，目前集成学习有两大类，一类是个体学习器间存在强依赖关系，必须串行生成的序列化方法，代表是boosting，另一类是个体学习器间没有强依赖关系，代表是bagging和random forest。

8.2 Boosting

Boosting先从初始训练集中训练出第一个基学习器，再根据基学习器的表现进行调整，先前做错的样本得到重点关注，基于调整后的分布训练出第二个基学习器，如此反复得到想要的基学习器数量。

考虑二分类问题f∈−1,1f\in{-1,1}f∈−1,1，基分类器的错误率为ϵ\epsilonϵ,对每个基分类器hih_ihi有
P(hi(x)≠f(x))=ϵ(3.1)P(h_i(x)\neq f(x)) = \epsilon \qquad\qquad(3.1)P(hi(x)=f(x))=ϵ(3.1)
有T个基分类器，H(x)H(x)H(x)为集成投票结果
H(x)=sign(∑i=1Thi(x))(3.2)H(x)=sign(\sum^T_{i=1}h_i(x))\qquad\quad(3.2)H(x)=sign(i=1∑Thi(x))(3.2)

[机器学习入门第八章]集成学习相关推荐

python神经网络算法pdf_Python与机器学习实战决策树、集成学习、支持向量机与神经网络算法详解及编程实现.pdf...
作者 :何宇健出版发行 : 北京:电子工业出版社 , 2017.06 ISBN号 :978-7-121-31720-0 页数 : 315 原书定价 : 69.00 主题词 : 软件工具-程序设计 ...
机器学习系列笔记十三: 集成学习/模型聚合
机器学习系列笔记十三: 集成学习/模型聚合文章目录机器学习系列笔记十三: 集成学习/模型聚合什么是集成学习 Voting Hard Voting 模拟实现Hard Voting 集成学习使用V ...
python机器学习案例系列教程——集成学习（Bagging、Boosting、随机森林RF、AdaBoost、GBDT、xgboost）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程可以通过聚集多个分类器的预测结果提高分类器的分类准确率,这一方法称为集成(Ensemble)学习或分类器组合(Classifier C ...
机器学习 | 基础通俗讲解集成学习算法！
来源:Datawhale 本文约6000字,建议阅读10+分钟本文以图文的形式对模型算法中的集成学习,以及对集中学习在深度学习中的应用进行了详细解读. 标签:机器学习数据及背景阿里天池-零基础入 ...
【周志华机器学习】八、集成学习
文章目录参考资料 1. 基本概念 1.1 个体与集成 2. Boosting 3. Bagging 4.随机森林 5. 结合策略 5.1 平均法(回归问题) 5.2 投票法(分类问题) 5.3 学习 ...
机器学习算法——详细介绍集成学习，以及什么是Bagging、随机森林、Boosting、XGBoost
目录一.集成学习算法简介 1.什么是集成学习 2.机器学习的两个核心任务 3.集成学习中boosting和Bagging 4.小结二.Bagging和随机森林 1.Bagging集成原理 2.随机 ...
机器学习（七）——集成学习：Boosting系列和Bagging系列
一.集成学习 1.基础概念 \qquad 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,也被称为多分类器系统.基于委员会的学习等. \qquad 集成学习的一般 ...
机器学习——基于Bagging的集成学习：随机森林（Random Forest）及python实现
基于Bagging的集成学习:随机森林的原理及其实现引入 Bagging装袋随机森林随机森林分类随机森林回归 python实现随机森林分类随机森林回归引入 "三个臭皮匠赛过诸葛 ...
机器学习读书笔记：集成学习
文章目录集成学习 AdaBoost 代码 Bagging与随机森林 Bagging 随机森林(Random Forest) 结合策略增加多样性的策略多样性度量集成学习之前已经讲过了好几个 ...

最新文章

热门文章