Blending and Bagging

2024-06-13 03:20:06

Blending and Bagging

目录(?)[+]

第七讲：Blending and Bagging

1、Motivation of Aggregation（融合的动机）

恰当的融合可以得到更好的表现

2、Uniform Blending(平均融合)

分类

回归

理论分析：

所有误差g的平均 >= 平均的误差G

但是最好的误差g是否比平均的误差G不知道。

演算法的平均表现 = 个别与共识的差距(variance) + 共识的表现(bias)

平均的过程：消除个别与共识的差距，从而得到更稳定的表现

3、Linear Blending(线性融合)

线性融合 = 线性模型 + g当作转换 +条件（a>=0）

条件（a>=0）这一项可以去除，当a<=0时表示这一项起反效果。

Linear Blending在Selection时候:

应该通过 E_val而不是E_in；

相应的在D_val上验证的模型应该是g^-而不是g。(若是选择g，因为这些model在D_data上训练，D_data=D_train+D_val，所以相当于见过D_val，可能会过拟合)

linear Blending 和 any Blending OR Stacking(non-linear):

通过在D_train上训练一批模型g^-，然后在D_val上验证找出最好的alpha，但是最后返回的模型是alpha和g。

例举了台大在2011 KDDCup通过Blending拿到冠军的故事，说明Blending确实很有效如果不惜计算量的话。

4、Bagging(Bootstrap Aggregation)

blending:在得到g后融合。

learning:一边学到g一边融合起来

g是如何得到的呢？

模型的不同、参数的不同、算法随机性的不同、数据随机性的不同

很多g的共识比单一g好，但是手上没有大量的数据产生不同的g。

boostrapping的思想:从手上有限的数据模拟出不同的数据。

boostrapping:从N个数据中有放回随机采样N(或少于N)次，每次采样1个样本。意味着同一个数据可能被采样多次。

boostrap aggregation(BAGging):建立在base算法上的meta算法。

例子：由25条Bagging Pocket产生的线融合得到的一个效果还可以的分类线。

如果base算法对数据随机性敏感的话，Bagging 会得到不错的效果。

练习：boostrap过程有N^N情形产生，里面有N！种会是原来数据的排列组合

Blending and Bagging相关推荐

台湾国立大学（林轩田）《机器学习技法》（第7讲）blending and bagging
课程地址:https://class.coursera.org/ntumlone-001/class 课件讲义:http://download.csdn.net/download/malele4th/ ...
B.数据挖掘机器学习[五]---汽车交易价格预测详细版本｛模型融合(Stacking、Blending、Bagging和Boosting)｝
[机器学习入门与实践]入门必看系列,含数据挖掘项目实战:数据融合.特征优化.特征降维.探索性分析等,实战带你掌握机器学习数据挖掘专栏详细介绍:[机器学习入门与实践]合集入门必看系列,含数据挖掘项目实 ...
独家 | 从基础到实现：集成学习综合教程（附Python代码）
作者:AISHWARYA SINGH 翻译:和中华校对:丁楠雅本文约8000字,建议阅读10+分钟. 本文从基础集成技术讲起,随后介绍了高级的集成技术,最后特别介绍了一些流行的基于Bagging和 ...
Decision Tree
#①Aggregation Model 回顾上一篇文章讲到的聚合模型,三个臭皮匠顶一个诸葛亮.于是出现了blending,bagging,boost,stacking.blending有uniform ...
干货 | 126 篇 AI 原创文章精选（ML、DL、资源、教程）
点击上方"AI有道",选择"置顶"公众号重磅干货,第一时间送达一年多来,公众号[AI有道]已经发布了 140+ 的原创文章了.内容涉及林轩田机器学习课程笔记 ...
独家干货 | 林轩田机器学习课程精炼笔记！
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达台湾大学林轩田老师曾在coursera上开设了两门机器学习经典课程:<机器学习基石> ...
干货 | 公众号历史文章精选（附资源）
不知不觉,红色石头在公众号已经发布了 100+ 的原创文章了.内容涉及林轩田机器学习课程笔记.吴恩达 deeplearning.ai 课程笔记.机器学习.深度学习.笔试面试题.资源教程等等.值得一提的 ...
干货 | 林轩田机器学习「基石+技法」历史文章汇总
AI有道一个有情怀的公众号台湾大学林轩田机器学习经典课程:「机器学习基石」和「机器学习技法」.课程由浅入深.内容全面,基本涵盖了机器学习领域的很多方面,还包括了机器学习一些经典算法,包括支持向量机 ...
GBDT！深入浅出详解梯度提升决策树
AI有道一个有情怀的公众号 1 Adaptive Boosted Decision Tree Random Forest的算法流程我们之前已经详细介绍过,就是先通过bootstrapping&quo ...

最新文章

热门文章