机器学习基础（十七）—

AdaBoost：皮匠法，三个臭皮匠赛过诸葛亮；；

boosting 一种和 bagging（Bootstrap AGgregation）很类似的技术，不论是在 boosting 还是在 BAGging 中，所使用的多个分类器的类型都是一致的。

但在 boosting 之中，不用的分类器是通过串行训练（存在先后顺序）得到的，每个分类器都根据已训练出的分类器的性能来进行训练。boosting 通过关注被已有分类器错分的那些数据来获得新的分类器。

由于 boosting 分类的结果是基于所有分类器的加权求和，因此 boosting 和 BAGging 不太一样。BAGging 中的权重是相等的，而boosting 中的分类器的权重并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功度。

weighted base algorithm

Euin(h)=1N∑n=1Nun⋅L(yn,h(xn))

E_{in}^u(h)=\frac1N\sum_{n=1}^Nu_n\cdot L(y_n,h(x_n))
unu_n 就表示每个样本 (xn,yn)(x_n,y_n) 的权重；

看到没，这其实是一个模型框架，加权损失函数，LL 当然可以换做 SVM 的代价函数，LL 也可以是 Logistic Regression 的损失函数。

权重的构造（更新）

tt 时刻训练得到的分类器为 gtg_t，我们构造 t+1t+1 时刻的权重 u(t+1)\mathbf{u}^{(t+1)}，使得（也即 gtg_t 在新的权重下的表现就像抛硬币一样，fifty-fifty）：

∑n=1Nut+11yn≠gt(xn)∑n=1Nu(t+1)=12

\frac{\sum\limits_{n=1}^Nu^{t+1}1_{y_n\neq g_t(x_n)}}{\sum\limits_{n=1}^Nu^{(t+1)}}=\frac12
而 ∑n=1Nu(t+1)=∑n=1Nu(t+1)1yn≠gt(xn)+∑n=1Nu(t+1)1yn=gt(xn)\sum\limits_{n=1}^Nu^{(t+1)}=\sum\limits_{n=1}^Nu^{(t+1)}1_{y_n\neq g_t(x_n)}+\sum\limits_{n=1}^Nu^{(t+1)}1_{y_n=g_t(x_n)}。

我们记 ϵt=∑n=1Nut+11yn≠gt(xn)∑n=1Nu(t+1)\epsilon_t=\frac{\sum\limits_{n=1}^Nu^{t+1}1_{y_n\neq g_t(x_n)}}{\sum\limits_{n=1}^Nu^{(t+1)}}

ϵtα=(1−ϵt)α

\epsilon_t\alpha=\frac{(1-\epsilon_t)}\alpha
解得 α=1−ϵtϵt−−−−√\alpha=\sqrt{\frac{1-\epsilon_t}{\epsilon_t}}。

当且仅当 ϵt≤12\epsilon_t\leq \frac12 （你的 base algorithm 比乱猜好一点）时，α≥1\alpha\geq 1，意味着：

（1）scale up incorrect samples（放大已有分类器错分的样本）
（2）scale down correct samples

这正是 AdaBoost 的做法，通过放大已有分类器错分的样本来训练得到不同 diverse hypothesis。

AdaBoost 的构成：

（1）weak base learning algorithm
（2）optimal re-weighing factor：1−ϵtϵt−−−−√\sqrt{\frac{1-\epsilon_t}{\epsilon_t}}
（3）linear aggregation αt\alpha_t：αt=12ln1−ϵtϵt\alpha_t=\frac12\ln \frac{1-\epsilon_t}{\epsilon_t}

G(x)=sign(∑t=1Tαtgt(x))

G(\mathbf{x})=\text{sign}\left ( \sum_{t=1}^T\alpha_tg_t(\mathbf{x})\right )

机器学习基础（十七）—— boosting相关推荐

机器学习基础与实践（二）----数据转换
------------------------------------本博客所有内容以学习.研究和分享为主,如需转载,请联系本人,标明作者和出处,并且是非商业用途,谢谢!-------------- ...
流行于机器学习竞赛的Boosting，这篇文章讲的非常全了
作者 | AISHWARYA SINGH 译者 | 武明利,责编 | Carol 出品 | AI科技大本营(ID:rgznai100) 你能说出至少两种机器学习中的 Boosting 吗? Boost ...
【机器学习基础】数学推导+纯Python实现机器学习算法26：随机森林
Python机器学习算法实现 Author:louwill Machine Learning Lab 自从第14篇文章结束,所有的单模型基本就讲完了.而后我们进入了集成学习的系列,整整花了5篇文章的篇 ...
流行于机器学习竞赛的Boosting，一文讲透足够了
作者 | AISHWARYA SINGH 译者 | 武明利,责编 | 夕颜出品 | AI科技大本营(ID:rgznai100) 你能说出至少两种机器学习中的 Boosting 吗? Boosting ...
水很深的深度学习-Task02机器学习基础
机器学习基础目录机器学习基础一.什么是机器学习? 如何寻找这个函数? 机器学习三板斧学习路线二.机器学习算法的类型 1. 有监督学习 2. 无监督学习 3. 强化学习 4.机器学习算法的系统 ...
机器学习--机器学习基础
机器学习(Machine Learning ) --机器学习基础机器学习概述机器学习(Machine Learning,ML) 是使用计算机来彰显数据背后的真实含义,它为了把无序的数据转换成有用 ...
计算机视觉面试宝典--深度学习机器学习基础篇（四）
计算机视觉面试宝典–深度学习机器学习基础篇(四) 本篇主要包含SVM支持向量机.K-Means均值以及机器学习相关常考内容等相关面试经验. SVM-支持向量机支持向量机(support vector ...
机器学习 —— 基础整理（六）线性判别函数：感知器、松弛算法、Ho-Kashyap算法...
这篇总结继续复习分类问题.本文简单整理了以下内容: (一)线性判别函数与广义线性判别函数 (二)感知器 (三)松弛算法 (四)Ho-Kashyap算法闲话:本篇是本系列［机器学习基础整理］在time ...
【Python机器学习】之 Boosting算法
Boosting 1.Boosting 1.1.Boosting算法 Boosting算法核心思想: 1.2.Boosting实例使用Boosting进行年龄预测: 2.XGBoosting ...
机器学习（1）机器学习基础鸢尾花数据集
目录一.机器学习基础理论 1.机器学习过程 2.机器学习分类 3.数据集返回值介绍二.鸢尾花数据集(实战) 1.首先是获取数据集 2.显示数据集信息(可以不要) 三.数据集划分 1.数据集划分AP ...

机器学习基础（十七）—— boosting

机器学习基础（十七）—— boosting相关推荐

最新文章

热门文章