boosting_bagging
2024-04-26 09:20:43
boosting(提升法)
对于训练集中的每个样本建立全职W(i),当某个样本被错误分类概率很高时,样本的权重加大;
在迭代过程中,每一个迭代器都是一个弱分类器,我们需要用某种策略将其组合,作为最终模型。
bagging(套袋法)
从原始样本集随机抽取n个训练样本,共进行k轮抽取,得到k个训练集。(k个训练集之间相互独立,元素可以有重复)
对于k个训练集,我们训练k个模型
对于分类问题:由投票表决产生分类结果;对于回归问题:由k个模型预测结果的均值作为最后预测结果。(所有模型的重要性相同)
区别:
样本选择:Bagging采用的是Bootstrap随机有放回抽样,训练集变化;而Boosting每一轮的训练集是不变的,样本权重变化。
样本权重:Bagging使用的是均匀取样,每个样本权重相等;Boosting根据错误率调整样本权重,错误率越大的样本权重越大。
预测函数:Bagging所有的预测函数的权重相等;Boosting中误差越小的预测函数其权重越大。
并行计算:Bagging各个预测函数可以并行生成;Boosting各个预测函数必须按顺序迭代生成。
1)Bagging + 决策树 = 随机森林
2)AdaBoost + 决策树 = 提升树
3)Gradient Boosting + 决策树 = GBDT
转载于:https://www.cnblogs.com/hapyygril/p/9848845.html
boosting_bagging相关推荐
最新文章
- Tensorflow BatchNormalization详解:4_使用tf.nn.batch_normalization函数实现Batch Normalization操作...
- 遥远的,理想与现实的完美统一——听完华大基因的宣讲,有点小激动···
- 25个顶级PHP模板引擎【转】
- 高质量技术文章哪里看?数据人必看的优质公众号
- centos 6 安装 php 5.5 fpm支持
- Codeforces Testing Round #1_C. Circular RMQ
- matlab改变直方图数量级,直方图规定化——Matlab实现及其原理
- Cisco Packet Tracer交换机划分VLAN
- 解决Android弹出Dialog小米手机需要打开“后台弹出界面”的权限问题
- python英语单词 扇贝英语安卓下载_扇贝单词英语版app下载_靠谱的外语软件扇贝单词英语版下载安装 安卓版 V3.4.302 - 罐头安卓网...
- 软件配置管理概念-3,CM系统的概念
- 中国文学通史之各个阶段介绍
- css解决transform 方法字体抖动
- android 逆向so,逆向Android SO,以《遇见》App为例
- Cadence Allegro PCB添加泪滴的方法
- OSChina 娱乐弹弹弹——程序猿如何防火防盗防单身 OR 防败家?
- 跳出“画地为牢”的陷阱:更加明智地规划职业发展
- sonic云真机通过linux系统接入苹果手机
- 500 Whoops, something went wrong on our end. Try refreshing the page
- Enhancer学习(原无远开发平台)