还有人不懂XGBoost的缺失值处理？(全面解析篇)

先说结论，XGBoost和LightGBM是支持缺失值的

由于XGBoost和LightGBM对缺失值的处理方法是相同的，因此我们只拿XGBoost来解读

建议大家看下论文，链接：https://www.kdd.org/kdd2016/subtopic/view/xgboost-a-scalable-tree-boosting-system

XGBoost是一种boosting的集成学习模型

支持的弱学习器（即单个的学习器，也称基学习器）有树模型（gbtree/dart，dart为引入dropout的树模型，下次将详解）和线性模型（gblinear），默认为gbtree。

1、如果弱学习器为gblinear，由于线性模型不支持缺失值，会将缺失值填充为0；

2、如果弱学习器为gbtree或dart，则支持缺失值，其分裂过程如下。

一、训练阶段

在训练过程中，如果特征 f 0 f_0 f0出现了缺失值，处理步骤如下：
1、首先对于 f 0 f_0 f0非缺失的数据，计算出 L s p l i t L_{split} Lsplit并比较大小，选出最大的 L s p l i t L_{split} Lsplit，确定其为分裂节点（即选取某个特征的某个阈值）；

2、然后对于 f 0 f_0 f0缺失的数据，将缺失值分别划分到左子树和右子树，分别计算出左子树和右子树的 L s p l i t L_{split} Lsplit，选出更大的 L s p l i t L_{split} Lsplit，将该方向作为缺失值的分裂方向（记录下来，预测阶段将会使用）。

二、预测阶段

在预测阶段，如果特征 f 0 f_0 f0出现了缺失值，则可以分为以下两种情况：

1、如果训练过程中， f 0 f_0 f0出现过缺失值，则按照训练过程中缺失值划分的方向（left or right），进行划分；

2、如果训练过程中， f 0 f_0 f0没有出现过缺失值，将缺失值的划分到默认方向（左子树）。

下面是论文和源码的解析。论文是这样描述的：：

想要对XGBoost实现细节有更加深刻理解，还需要去阅读XGBoost的源码，如下：

//来源：https://github.com/dmlc/xgboost
//代码位置：include/xgboost/tree_model.h
/*! \brief get next position of the tree given current pid */
inline int RegTree::GetNext(int pid, bst_float fvalue, bool is_unknown) const {bst_float split_value = (*this)[pid].SplitCond();if (is_unknown) {return (*this)[pid].DefaultChild();} else {if (fvalue < split_value) {return (*this)[pid].LeftChild();} else {return (*this)[pid].RightChild();}}
}
} // 若缺失返回True，非缺失返回False
inline bool RegTree::FVec::IsMissing(size_t i) const {return data_[i].flag == -1;
}

算法流程如下

is_unknown，判断特征是否缺失
DefaultChild为缺失值的默认划分方向，详见代码如下

//来源：https://github.com/dmlc/xgboost
//src/tree/param.h
//设置默认的分裂方向/*!\return whether missing value goes to left branch */inline bool DefaultLeft() const { return (sindex >> 31) != 0; }// calculate the cost of loss function
template <typename TrainingParams, typename T>
XGBOOST_DEVICE inline T CalcGain(const TrainingParams &p, T sum_grad, T sum_hess) {if (sum_hess < p.min_child_weight) {return T(0.0);
}if (p.max_delta_step == 0.0f) {if (p.reg_alpha == 0.0f) {return Sqr(sum_grad) / (sum_hess + p.reg_lambda);} else {return Sqr(ThresholdL1(sum_grad, p.reg_alpha)) /(sum_hess + p.reg_lambda);}} else {T w = CalcWeight(p, sum_grad, sum_hess);T ret = sum_grad * w + T(0.5) * (sum_hess + p.reg_lambda) * Sqr(w);if (p.reg_alpha == 0.0f) {return T(-2.0) * ret;} else {return T(-2.0) * (ret + p.reg_alpha * std::abs(w));}}
}