为什么bagging降低方差，boosting降低偏差？
1 variance/bias
- bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距，简单讲，就是在样本上拟合的好不好。要想在bias上表现好，low bias，就得复杂化模型，增加模型的参数，但这样容易过拟合 (overfitting)，过拟合对应上图是high variance，点很分散。low bias对应就是点都打在靶心附近，所以瞄的是准的，但手不一定稳。
- varience描述的是样本上训练出来的模型在测试集上的表现，要想在variance上表现好，low varience，就要简化模型，减少模型的参数，但这样容易欠拟合(unfitting)，欠拟合对应上图是high bias，点偏离中心。low variance对应就是点都打的很集中，但不一定是靶心附近，手很稳，但是瞄的不准。
2 Why
bagging是对许多强（甚至过强）的分类器求平均。在这里，每个单独的分类器的bias都是低的，平均之后bias依然低；而每个单独的分类器都强到可能产生overfitting的程度，也就是variance高，求平均的操作起到的作用就是降低这个variance。
boosting是把许多弱的分类器组合成一个强的分类器。弱的分类器bias高，而强的分类器bias低，所以说boosting起到了降低bias的作用。variance不是boosting的主要考虑因素。Boosting 则是迭代算法，每一次迭代都根据上一次迭代的预测结果对样本进行加权，所以随着迭代不断进行，误差会越来越小，所以模型的 bias 会不断降低。这种算法无法并行，例子比如Adaptive Boosting.
推荐知乎上的这个问答：为什么说bagging是减少variance，而boosting是减少bias?
为什么bagging降低方差，boosting降低偏差？相关推荐
- Bagging和Boosting（偏差与方差）
文章目录 偏差方差 Bagging Boosting 机器学习中的集成学习有两个重要的策略,即Bagging与Boosting. 偏差方差 偏差指的是算法的期望预测与真实值之间的偏差程度,反映了模型本 ...
- bagging算法_Bagging/Boosting傻傻分不清？来一探究竟吧~
你是否还在迷惑什么是Bagging?你是否还在纠结Bagging和Boosting的区别到底在哪??你是否还在探索Bagging的具体用法???那就一起来看看吧! Bagging 同一个学习算法在来自 ...
- 机器学习之Bagging算法和Boosting算法
2.1 Bagging和Boosting区别 Bagging算法和Boosting都属于集成算法,最重要的假设是:当弱模型被正确组合时,我们可以得到更精确和/或更鲁棒的模型. bagging算法通常考 ...
- 笔记本linux如何降低功耗,win10笔记本电脑怎么降低功耗?笔记本降低功耗的方法（亲测有效）...
笔记本大家都知道吧,在上班或者是学习的时候,笔记本就是我们经常需要使用到的,但是我们有很多的时候在做到一半左右就会没电的情况,连保存都来不及保存,那么我们有没有什么方法可以降低功耗呢?下面小编就来跟大 ...
- 统计学习方法——CART, Bagging, Random Forest, Boosting
本文从统计学角度讲解了CART(Classification And Regression Tree), Bagging(bootstrap aggregation), Random Forest B ...
- 手机游戏降低游戏延迟的软件_《和平精英》手游怎么降低网络延迟 降低网络延迟的方法攻略...
导 读 <和平精英>手游中有很多的小伙伴们都比较好奇怎么才能快速解决网络延迟的问题了,用什么方法才可以解决的了网络延迟的问题了,有几种方法才可以解决网络延迟的问题了,相信这些都是各位小伙伴 ...
- linux降低屏幕亮度,降低屏幕亮度，减缓眼疲劳 (linux/windows/firefox/android)
[Android] 怎么在应用中实现密码隐藏? [Android] 怎么在应用中实现密码隐藏? 在安卓应用中,用户注册或者登录时,需要把密码隐藏,实现一定的保密效果.在安卓中,可以通过设置EditTe ...
- [学习笔记] [机器学习] 7. 集成学习（Bagging、随机森林、Boosting、GBDT）
视频链接 数据集下载地址:无需下载 1. 集成学习算法简介 学习目标: 了解什么是集成学习 知道机器学习中的两个核心任务 了解集成学习中的 Boosting 和 Bagging 1.1 什么是集成学习 ...
- Bobo老师机器学习笔记第八课-方差、偏差、岭回归、LASSO回归？
对误差分类 问题一.什么是偏差和方差? 先看下面这幅图图: 方差: 都是围着数据中心的,方差越大则表示距离数据中心分布的越分散,越小说明越近越集中 偏差: 偏离数据中心, 偏差越大,说明整个数据距离中 ...
最新文章
- zabbix学习(四)IT_Service管理
- Cassandra架构、设计（集群表）和性能报告
- bean注入属性_摆脱困境：将属性值注入配置Bean
- [react] 举例说明什么是高阶组件(HOC)的属性代理
- 统计字符串出现的次数（参照传智播客视频）
- spinlock变量没有初始化
- es java 实现should must filter组合查询
- python中缀表达式_中缀表达式变后缀表达式、后缀表达式（逆波兰）求值(python版本)...
- 前端神器-网站图片抓取精灵V1.0正式发布
- 哈工大网络安全实验五报告
- 深度学习中的常用的归一化方法汇总
- gbk、gb2312、big5、unicode、utf-8
- 计算机无法识别打印机usb,USB无法识别打印机的解决方案和教程
- 在校大学生关于程序员培训机构的想法
- U盘装系统中bios怎么设置USB启动(图文教程）
- 中国电子商务网经的盈利策略
- 目标检测系列文章之SPP-net【2015】
- C#，图像二值化（12）——基于谷底最小值的全局阈值算法（Valley-Minium Thresholding）与源代码
- Verilog 基础语法01—逻辑值
- java计算机毕业设计家庭记账系统源程序+mysql+系统+lw文档+远程调试