PermutationImportance

我们在构建树类模型（XGBoost、LightGBM等）时，如果想要知道哪些变量比较重要的话。可以通过模型的feature_importances_

方法来获取特征重要性。例如LightGBM的feature_importances_可以通过特征的分裂次数或利用该特征分裂后的增益来衡量。一般情况下，不同的衡量准则得到的特征重要性顺序会有差异。我一般是通过多种评价标准来交叉选择特征。博主认为，若一个特征在不同的评价标准下都是比较重要的，那么该特征对label有较好的预测能力。

为大家介绍一种评价特征重要性的方法：PermutationImportance

。文档对该方法介绍如下：*eli5 provides a way to compute feature importances for any black-box estimator by measuring how score decreases when a feature is not available; the method is also known as “permutation importance” or “Mean Decrease Accuracy (MDA)”.*我的理解是：若将一个特征置为随机数，模型效果下降很多，说明该特征比较重要；反之则不是。

下面为大家举一个简单的例子，我们利用不同模型来挑选变量（RF、LightGBM、LR）。并挑选出来重要性排在前30的变量（总变量200+）进行建模。

import eli5
from eli5.sklearn import PermutationImportance
from sklearn.feature_selection import SelectFromModeldef PermutationImportance_(clf,X_train,y_train,X_valid,X_test):perm = PermutationImportance(clf, n_iter=5, random_state=1024, cv=5)perm.fit(X_train, y_train)    result_ = {'var':X_train.columns.values,'feature_importances_':perm.feature_importances_,'feature_importances_std_':perm.feature_importances_std_}feature_importances_ = pd.DataFrame(result_, columns=['var','feature_importances_','feature_importances_std_'])feature_importances_ = feature_importances_.sort_values('feature_importances_',ascending=False)#eli5.show_weights(perm, feature_names=X_train.columns.tolist(), top=500) #结果可视化   sel = SelectFromModel(perm, threshold=0.00, prefit=True)X_train_ = sel.transform(X_train)X_valid_ = sel.transform(X_valid)X_test_ = sel.transform(X_test)return feature_importances_,X_train_,X_valid_,X_test#PermutationImportance
model_1 = RandomForestClassifier(random_state=1024)
feature_importances_1,X_train_1,X_valid_1,X_test_1 = PermutationImportance_(model_1,X_train,y_train,X_valid,X_test)model_2 = lgb.LGBMClassifier(objective='binary',random_state=1024)
feature_importances_2,X_train_2,X_valid_2,X_test_2 = PermutationImportance_(model_2,X_train,y_train,X_valid,X_test)model_3 = LogisticRegression(random_state=1024)
feature_importances_3,X_train_3,X_valid_3,X_test_3 = PermutationImportance_(model_3,X_train,y_train,X_valid,X_test

建模特征分别为：全部特征、RF前30特征、LightGBM前30特征、LR前30特征。可以看到LightGBM通过PermutationImportance选出来的30个特征的模型的泛化性要好于用全部变量建模。

train auc: 0.737572501101 valid auc: 0.707917079532 test auc: 0.698453842775
train auc: 0.728547026706 valid auc: 0.694552089056 test auc: 0.674431794411
train auc: 0.737740963444 valid auc: 0.711832783676 test auc: 0.702665571919
train auc: 0.721754352344 valid auc: 0.694629157213 test auc: 0.679796146766

官方文档：

https://eli5.readthedocs.io/en/latest/blackbox/permutation_importance.html

PermutationImportance相关推荐

利用PermutationImportance挑选变量
我们在构建树类模型(XGBoost.LightGBM等)时,如果想要知道哪些变量比较重要的话.可以通过模型的feature_importances_方法来获取特征重要性.例如LightGBM的feat ...
kaggle项目：基于随机森林模型的心脏病患者预测分类！
公众号:尤而小屋作者:Peter 编辑:Peter 大家好,我是Peter~ 新年的第一个项目实践~给大家分享一个新的kaggle案例:基于随机森林模型(RandomForest)的心脏病人预测分类 ...
哪些特征对我的机器学习模型影响最大？
哪些特征对我的机器学习模型影响最大? http://blog.sina.com.cn/s/blog_cfa68e330102zelh.html 测量特征重要性没有灵丹妙药,排列重要性是常用的方法之一. ...
为什么要假设变量为正态分布？
为什么要假设变量为正态分布? enhengz关注赞赏支持为什么要假设变量为正态分布? 正态分布概念: 参见上篇简文中心极限定理与正态分布好,进入本文重点,为什么很多模型都假设变量服从正态分布呢,尤 ...
kaggle-Santander 客户交易预测总结
1 绘图 sns.kdeplot()--核密度估计图 sns.distplot()--集合了matplotlib的hist()与核函数估计kdeplot的功能 Seaborn入门系列之kdeplot和 ...
机器学习模型可解释性的6种Python工具包，总有一款适合你！
开发一个机器学习模型是任何数据科学家都期待的事情.我遇到过许多数据科学研究,只关注建模方面和评估,而没有解释. 然而,许多人还没有意识到机器学习可解释性在业务过程中的重要性.以我的经验,商业人士希望知 ...
【算法竞赛学习】资金流入流出预测-挑战Baseline_特征工程
赛题简介蚂蚁金服拥有上亿会员并且业务场景中每天都涉及大量的资金流入和流出,面对如此庞大的用户群,资金管理压力会非常大.在既保证资金流动性风险最小,又满足日常业务运转的情况下,精准地预测资金的流入流出 ...
机器学习模型非线性模型_机器学习模型说明
机器学习模型非线性模型 A Case Study of Shap and pdp using Diabetes dataset 使用糖尿病数据集对Shap和pdp进行案例研究 Explaining ...
还在随缘炼丹？一文带你详尽了解机器学习模型可解释性的奥秘
一只小狐狸带你解锁NLP/ML/DL秘籍正文来源:腾讯技术工程所谓炼丹,就是将大量灵材使用丹炉将其凝炼成丹.练成的灵丹蕴含灵材的大部分特性,方便携带,容易吸收.高级仙丹在炼制中更是能吸收天地灵气从 ...

PermutationImportance

PermutationImportance相关推荐

最新文章

热门文章