机器学习中Bagging和Boosting的区别
点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。
首先介绍Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本)。
1. Bagging (bootstrap aggregating)
Bagging即套袋法,其算法过程如下:
从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没有被抽中)。共进行k轮抽取,得到k个训练集。(k个训练集之间是相互独立的)
每次使用一个训练集得到一个模型,k个训练集共得到k个模型。(注:这里并没有具体的分类算法或回归方法,我们可以根据具体问题采用不同的分类或回归方法,如决策树、感知器等)
对分类问题:将上步得到的k个模型采用投票的方式得到分类结果;对回归问题,计算上述模型的均值作为最后的结果。(所有模型的重要性相同)
2. Boosting
其主要思想是将弱分类器组装成一个强分类器。在PAC(概率近似正确)学习框架下,则一定可以将弱分类器组装成一个强分类器。
关于Boosting的两个核心问题:
2.1 在每一轮如何改变训练数据的权值或概率分布?
通过提高那些在前一轮被弱分类器分错样例的权值,减小前一轮分对样例的权值,来使得分类器对误分的数据有较好的效果。
2.2 通过什么方式来组合弱分类器?
通过加法模型将弱分类器进行线性组合,比如AdaBoost通过加权多数表决的方式,即增大错误率小的分类器的权值,同时减小错误率较大的分类器的权值。
而提升树通过拟合残差的方式逐步减小残差,将每一步生成的模型叠加得到最终模型。
3. Bagging,Boosting二者之间的区别
Bagging和Boosting的区别:
1)样本选择上:
Bagging:训练集是在原始集中有放回选取的,从原始集中选出的各轮训练集之间是独立的。
Boosting:每一轮的训练集不变,只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。
2)样例权重:
Bagging:使用均匀取样,每个样例的权重相等
Boosting:根据错误率不断调整样例的权值,错误率越大则权重越大。
3)预测函数:
Bagging:所有预测函数的权重相等。
Boosting:每个弱分类器都有相应的权重,对于分类误差小的分类器会有更大的权重。
4)并行计算:
Bagging:各个预测函数可以并行生成
Boosting:各个预测函数只能顺序生成,因为后一个模型参数需要前一轮模型的结果。
4. 总结
这两种方法都是把若干个分类器整合为一个分类器的方法,只是整合的方式不一样,最终得到不一样的效果,将不同的分类算法套入到此类算法框架中一定程度上会提高了原单一分类器的分类效果,但是也增大了计算量。
下面是将决策树与这些算法框架进行结合所得到的新的算法:
Bagging + 决策树 = 随机森林
AdaBoost + 决策树 = 提升树
Gradient Boosting + 决策树 = GBDT
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
机器学习中Bagging和Boosting的区别相关推荐
- 【机器学习】Bagging和Boosting的区别(面试准备)
Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好. Bagging: 先介绍Bagging方法: Bagging ...
- 集成模型Bagging和Boosting的区别
Bagging和Boosting的主要区别 Bagging(套袋法) Boosting(提升法) Bagging,Boosting二者的区别 总结 基本概念--偏差.方差 为什么说bagging是减少 ...
- Bagging和Boosting的区别(面试准备)
Baggging 和Boosting都是模型融合的方法,可以将弱分类器融合之后形成一个强分类器,而且融合之后的效果会比最好的弱分类器更好. Bagging: 先介绍Bagging方法: Bagging ...
- Bagging和Boosting的区别
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法.即将弱分类器组装成强分类器的方法. 首先介绍Boot ...
- 机器学习中算法与模型的区别
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要7分钟 跟随小博主,每天进步一丢丢 Datawhale干货 来自:Datawhale 作者:Sambodhi,海边的拾遗者 导读 机器学习涉及到 ...
- 机器学习中的数学——学习曲线如何区别欠拟合与过拟合
通过这篇博客,你将清晰的明白什么是如何区别欠拟合与过拟合.这个专栏名为白话机器学习中数学学习笔记,主要是用来分享一下我在 机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私 ...
- bagging与boosting的区别
bagging 把数据集通过有放回的抽样方式,划分为多个数据集,分别训练多个模型.针对分类问题,按照少数服从多数原则进行投票,针对回归问题,求多个测试结果的平均值 boosting 与Bagging一 ...
- Bagging和Boosting 策略及其区别
转自:Bagging和Boosting 概念及区别:http://www.cnblogs.com/liuwu265/p/4690486.html (仅作为笔记,如有侵权请告知) Bagging和Boo ...
- Bagging和Boosting 概念及区别
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法.即将弱分类器组装成强分类器的方法. 首先介绍Boot ...
最新文章
- Apache Flink 漫谈系列(12) - Time Interval(Time-windowed) JOIN...
- 广告植入、电商导流……“变味”的线上演唱会
- python中cgi到底是什么_什么是CGI?详细介绍Python CGI编程
- deepin20系统选择手动安装盘_深度系统Deepin 20最新正式版发布:全面升级
- 【转】QTableView 小结
- Moreau Decomposition 和 共轭次梯度定理
- FPGA入门学习——流水灯
- JS获取浏览器高度和宽度
- linux 文件擦除,[原创]在Linux下进行文件“粉碎”/擦除
- 计算机如何连接网络共享文件,电脑之间如何共享文件?
- Vue3 的新特性(二) —— Composition-Api
- 重装系统蓝屏,电脑开机蓝屏解决方法记录
- 学好Linux运维决心书
- cgcs2000大地坐标系地图_我国大地坐标系_地图与地图制图
- 解决网盘下载速度慢的问题
- 信息安全竞赛优秀作品介绍1
- 在linux中DATAX和DATAX-WEB安装指引
- C++ decltype类型说明符
- 制作 Linux mint 20.2 随身系统
- 固态硬盘与机械硬盘两者有什么区别?应该怎样选择呢?
热门文章
- GitHub标星1.5w+,从此我只用这款全能高速下载工具
- ​哪些开发问题最让程序员“头秃”?我们分析了Stack Overflow的11000个问题
- 创新工场论文入选NeurIPS 2019,研发最强“AI蒙汗药”
- 过关斩将打进Kaggle竞赛Top 0.3%,我是这样做的
- 别光发Paper,搞点实际问题
- 首发 | 13篇京东CVPR 2019论文!你值得一读~ 技术头条
- 吴恩达的Landing.ai又迎来一位AI大牛
- 为何Google将几十亿行源代码放在一个仓库?
- 声智科技完成2亿元B轮融资,将持续拓展语音交互产品的规模化落地
- 面试官问:线程池是如何重复利用空闲的线程来执行任务的?