一剑开尘走龙蛇 XGBoost

Boosting 思想

当每个弱分类器的分类效果不理想时，我们可以尝试将多个不同的弱分类器组合起来，形成效果更好的强分类器。Boosting 着重于减小模型的 bias。Boosting 与 Bagging 的区别如下：

为何说 Bagging 是减小 Variance，Bagging 是减小 bias？

在 Bagging 中，对样本重采样，每个子样本训练一个强（甚至过强）模型，最后取平均。由于子样本之间的相似程度高，多个模型的类型、结构与分布也非常相似，故多个模型有着近似的效果。而经过 Bagging 后，可以有效减小子模型的过拟合情况，因此可以显著降低模型的 Variance。在 Boosting 中，把许多个弱分类器组合成一个强的分类器，着重于提高弱模型的性能，即着重降低模型的 bias。而 Variance 则不在 Boosting 的考虑范围之内。在 Boosting 中，多个模型有着同样的优化目标，并且通过在每一轮中的不断优化，能够达到降低 bias 的目的。
- 样本选择上，Bagging 在每次训练中是通过 Bootstrap 有放回选取不同的数据，每轮训练的数据集是独立的；Boosting 中每轮的训练集不变，只是训练集中每个样本的权重在训练中发生变化，样本的权重根据上一轮的分类结果进行调整。
- 模型预测上，Bagging 中每个模型的权重相等，通过投票或取均值的方式进行结合；Boosting 中每个弱分类器都有对应的权重，对于分类误差小的分类器分配更大的权重。
- 计算方式上，Bagging 的各个模型可以并行训练；Boosting 中每个模型只能串行训练，因为后一个模型的样本权重需要通过上一轮的训练结果来调整。
- Bagging 着重于减小模型的 Variance；Boosting 着重于减小模型的 bias。

XGBoost 基本原理

在第 $t$ 轮训练中，在保留前 $t-1$ 轮训练结果的前提下，加入一棵树 $f_t$，使得目标函数尽可能地降低。用公式表达如下：

$$
\begin{aligned} Obj_t & = \sum_{i=1}^n l(y_i, \hat{y}_i^t) \\ & = \sum_{i=1}^n l(y_i, \hat{y}_i^{t-1} + f_t(x_i)) \\ \end{aligned}
$$

设损失函数为 MSE，则原目标函数写为：

$$
\begin{aligned} Obj_t &= \sum_{i=1}^n (y_i - (\hat{y}_i^{t-1} + f_t(x_i)))^2 \\ & = \sum_{i=1}^n[2(\hat{y}_i^{t-1} - y_i)f_t(x_i)+f_t(x_i)^2] + \sum_{i=1}^n ({y_i - \hat{y}_i^{t-1}})^2 \end{aligned}
$$

其中，$\sum{i=1}^n ({y_i - \hat{y}i^{t-1}})^2$ 与本轮无关，可以视为常数，$(\hat{y}_i^{t-1} - y_i)$ 一般被叫做残差，表示了上一轮预测值与真实值之间的差异，也是 XGBoost 算法在每一轮中预测的主要目标。即，将上一轮的训练结果看作一个整体，而新的一轮则对残差值进行预测。

此外，XGBoost 在每个叶子节点上都增加了正则化项 $\Omega(f_t) = \gamma T + \lambda\frac{1}{2}\sum^T{j=1} w_j^2$，其中，$T$ 代表叶子节点数量，$\lambda\frac{1}{2}\sum^T{j=1} w_j^2$ 为 L2 正则化项。

一剑开尘走龙蛇 XGBoost相关推荐

雪中悍刀行两袖青蛇和一剑开天门的意义
1. 两袖青蛇为什么是两袖青蛇,不是两袖青龙腾蛇化龙,龙虽高贵威严,可一旦变坐龙,就是传说中,仙人诸神的麾下走兽,仙家坐骑,只有未化龙的蛇,心中才有斩破一切的野望,才有往上攀爬,哪怕是和自己争斗, ...
职场智慧：君子应处木雁之间，当有龙蛇之变
社会很单纯,复杂的是人. 你干好了,遭人嫉妒:你做得差,让别人看不起:开放点吧,人家说你骚:保守了呢,人家说你装:你待人好,人家说你傻:精明一点,人家说你奸:热情了,人家说你浪:冷淡了,人家说你傲-- ...
Java剑开天门（二）
Java知识复习二相关导航 Java剑开天门(一) Java剑开天门(二) Java剑开天门(三) Java剑开天门(四) Java剑开天门(五) Java导航 Java知识复习二前言一.数组与 ...
Java剑开天门（四）
Java知识复习四相关导航 Java剑开天门(一) Java剑开天门(二) Java剑开天门(三) Java剑开天门(四) Java剑开天门(五) Java导航 Java知识复习四前言一.反射机 ...
御龙在天手游服务器满怎么注册,御龙在天手游新开服务器御龙在天手游最新服务器一览...
御龙在天手游为各位玩家带来最新的服务器,玩家将能在新的服务器里面驰骋沙场!御龙在天手游相当的火爆,为了满足玩家对游戏的热情,将新开服务器! 10月26日10:30 微信互通5服-王者独尊 10月27日 ...
量子计算机次新股,周大生逼近跌停次新股开板走弱成常态
昨日是周大生(002867)上市后的第7个交易日,截至收盘,该股报40.16元,差1分钱跌停,跌幅达到9.98%.上周五(5月5日)是周大生上市后首次开板,收盘价44.61元,当天涨幅为6.21%. ...
基于关联规则的推荐系统
首先,要了解关联规则的几个概念,定义N为总事务数,N(A).N(B)分别为项集A.项集B出现的次数,N(AB)为项集A.项集B同时出现的次数,A.B为不相交项集A∩B=Ø,规则A→B表示由A推到B: ...
《我在风衣里藏了把刀》—— 转
那天,我在风衣里藏了把刀,因为我要杀掉一个仇人. 我非常恨她,但又不敢骂她,所以我只好选择谋杀. 她的个子不高,却是武校的高才生,我估计空手打不过她,所以得藏把刀. 她很漂亮,但从来都不看我一眼,所以 ...
十二生肖配对表查询_天蝎座：分手后最容易复合的星座配对，一生分不开，最终重新走到一起...
在我们的日常生活中,并不是每一段恋情都可以天长地久的,很多时候有些恋情会因为一些彼此之间的小误会或者是性格上的原因分手,但是分手后并不代表就无法复合了,在十二星座中,也有很多这种分手后复合的星座配对. ...

一剑开尘走龙蛇 XGBoost

一剑开尘走龙蛇 XGBoost相关推荐

最新文章

热门文章