xgboost全称eXtreme Gradient Boosting，要理解xgboost算法，首先要理解决策树和boosting。

1、决策树：决策树是一个类似流程图的树结构，分支节点表示对一个特征进行测试，根据测试结果进行分类，树叶节点代表一个类别。我们对不同特征进行测试，并根据测试结果决定类别，将数据集划分为多个子数据集，再继续在子数据集上选择特征，再次划分，直到创建出一颗完整的决策树。对于测试数据，只要根据其特征，从根节点一直往下即可预测出其标签。

2、boosting：boosting属于一种集合算法，即利用统计学采样原理，训练成千上百个不同的算法模型，分别使用这些模型进行预测，然后采用少数服从多数原则，可以在一定程度上解决过拟合问题。具体到boosting的流程为：数据集有m个训练样本，给每个样本分配一个初始权重，然后使用这个带权重的数据集来训练模型，训练完成后，针对模型预测错误的样本，调整权重，再用其训练出下一个新模型，重复上述过程B次，训练出B个模型。

Bagging可以并行训练多个模型，而boosting只能串行训练，因为其下一个模型依赖上一个模型的训练结果。

Bagging训练出的B个模型权重是一样的，而boosting训练出的模型本身带有权重信息，单个模型的权重由训练的效果决定，即准确性高的权重会相应的大些。

算法：集合算法需要训练出很多不同的算法模型，所以先假设有k棵树:

目标函数为：

用泰勒展开逼近目标函数，就得到了新的目标函数：

现在，需要将树的形式从抽象概念转化为函数：

树的复杂度定义为：

xgboost中的部分参数

eta[default = 0.3，别名：learning_rate] 更新中使用的步长缩小以防止过度拟合。在每个提升步骤之后，我们可以直接获得新特征的权重，并eta缩小特征权重以使提升过程更加保守。

gamma[default = 0，别名：min_split_loss] 在树的叶节点上进行进一步分区所需的最小损耗减少。gamma越大，算法越保守。范围：[0，∞]

max_depth[default=6] 树的最大深度。增加此值将使模型更复杂，更容易过度拟合。lossguided当tree_method设置为as时，仅在增长策略中接受0，hist并且它表示没有深度限制。请注意，在训练深树时，XGBoost会积极地消耗内存。

max_delta_step[default=0] 允许每个叶子输出的最大增量步长。如果该值设置为0，则表示没有约束。如果将其设置为正值，则可以帮助使更新步骤更加保守。通常不需要此参数，但当类非常不平衡时，它可能有助于逻辑回归。将其设置为值1-10可能有助于控制更新。范围：[0，∞]

lambda[default=1, alias:reg_lambda] 关于权重的L2正则化项。增加此值将使模型更加保守。

alpha[default=0, alias:reg_alpha] 关于权重的L1正则化项。增加此值将使模型更加保守。

tree_methodstring [default =auto] auto，exact，approx，hist，gpu_hist

• auto：使用启发式方法选择最快的方法。
• 对于中小型数据集，exact将使用精确的贪婪（）。
• 对于非常大的数据集，approx将选择近似算法（）。
• 因为旧行为总是在单个机器中使用精确贪婪，所以当选择近似算法来通知该选择时，用户将得到消息。
• exact：精确的贪婪算法。
• approx：使用分位数草图和梯度直方图的近似贪婪算法。
• hist：快速直方图优化近似贪心算法。它使用了一些性能改进，例如垃圾箱缓存。
• gpu_hist：GPU实现hist 算法。

max_leaves[default=0] 要添加的最大节点数。仅在grow_policy=lossguide设置时相关。

predictor, [default=``cpu_predictor``] 要使用的预测算法类型。提供相同的结果，但允许使用GPU或CPU。

• cpu_predictor：多核CPU预测算法。
• gpu_predictor：使用GPU进行预测。默认情况下tree_method是gpu_exact或gpu_hist。