xgboost三种特征重要性选择方法

XGB 内置的三种特征重要性计算方法1
weight
xgb.plot_importance 这是我们常用的绘制特征重要性的函数方法。其背后用到的贡献度计算方法为weight。

‘weight’ - the number of times a feature is used to split the data across all trees.
简单来说，就是在子树模型分裂时，用到的特征次数。这里计算的是所有的树。这个指标在R包里也被称为frequency2。

gain
model.feature_importances_ 这是我们调用特征重要性数值时，用到的默认函数方法。其背后用到的贡献度计算方法为gain。

‘gain’ - the average gain across all splits the feature is used in.
gain 是信息增益的泛化概念。这里是指，节点分裂时，该特征带来信息增益（目标函数）优化的平均值。

cover
model = XGBRFClassifier(importance_type = ‘cover’) 这个计算方法，需要在定义模型时定义。之后再调用model.feature_importances_ 得到的便是基于cover得到的贡献度。

‘cover’ - the average coverage across all splits the feature is used in.
cover 形象来说，就是树模型在分裂时，特征下的叶子结点涵盖的样本数除以特征用来分裂的次数。分裂越靠近根部，cover 值越大。

xgboost三种特征重要性选择方法相关推荐

php冒泡插入选择排序,说说PHP数组的三种排序(冒泡/选择/插入)方法
说说PHP数组的三种排序(冒泡/选择/插入)方法 PHP #数组 #排序 #冒泡 #选择 #插入2012-05-30 10:17 一.冒泡排序法说明:找到最大的数,排列到最后面,然后继续找例: $ ...
XGBoost feature importance特征重要性-实战印第安人糖尿病数据集
使用梯度提升之类的决策树方法集成的一个好处是,它们可以从训练有素的预测模型中自动提供特征重要性的估计. 在这篇文章中,您将了解如何使用 Python 中的 XGBoost 库估计特征对预测建模问题的重 ...
用xgboost模型对特征重要性进行排序
用xgboost模型对特征重要性进行排序在这篇文章中,你将会学习到: xgboost对预测模型特征重要性排序的原理(即为什么xgboost可以对预测模型特征重要性进行排序). 如何绘制xgboost ...
QT中三种构建菜单栏的方法
QT中三种构建菜单栏的方法方法1 <C++ GUI programming with Qt 4, Second Edition>给出的一种方法:QMenum定义单个菜单,调用menuBa ...
win7计算机名怎么是感叹号,Win7连接wifi信号后出现感叹号三种原因和解决方法
Win7系统电脑连接网络上网的方式有很多种,比如拨号.无线wifi.网卡等等,有时候网络也会出现故障问题.这不Win7连接wifi出现感叹号,并且提示有限的访问权限,且无法上网.有什么办法能解决,让w ...
win7计算机名怎么是感叹号,Win7系统wifi信号后出现感叹号怎么办 Win7连接wifi后出现感叹号三种原因和解决方法...
Win7连接wifi出现感叹号,并且提示有限的访问权限,且无法上网.有什么办法能解决,让win7系统能够正常连接网络呢?针对Win7连接wifi信号后出现感叹号的问题,下面脚本之家的小编给大家讲解具体 ...
约束优化：约束优化的三种序列无约束优化方法
文章目录约束优化:约束优化的三种序列无约束优化方法外点罚函数法 L2-罚函数法:非精确算法对于等式约束对于不等式约束 L1-罚函数法:精确算法内点罚函数法:障碍函数法等式约束优化问题的拉格 ...
win10计算机休眠后无法唤醒,win10电脑休眠后唤不醒怎么回事_win10电脑休眠后唤不醒的三种原因和解决方法...
win10系统进入休眠模式能节约电源和开机时间,如果长时间不用电脑,在不关机的情况下,可以让系统进入休眠模式,不仅节约能源,还保护设备.有时候也会出现一些问题,比如win10电脑休眠后唤不醒,移动鼠标 ...
Android：三种Adapter的使用方法
三种Adapter的使用方法 1.simpleAdapter使用(3步:准备样式,准备数据,配置适配器) 1).adapter方法说明 2).插入一个listview ,创建 listview 样式x ...
计算机win7开机了进入不到桌面,win7开机不显示桌面怎么回事|win7开机不显示桌面三种原因和解决方法...
一些win7系统用户在开机的时候发现电脑桌面不显示了,这样就没办法进行任何操作了,导致win7开机不显示桌面的原因有很多,为帮助大家能够快速解决问题,小编收集总结一些win7开机不显示桌面三种原因和解 ...

xgboost三种特征重要性选择方法

xgboost三种特征重要性选择方法相关推荐

最新文章

热门文章