炼丹笔记：记录我们的成长轨迹

LightGBM如何保存模型？

用lgb保存模型遇到了几个坑，在这里记录一下。

在用Lightgbm.LGBMClassifier训练生成模型时，Scikit-learn 官网上建议的两种方式：

1.pickle方式

这里我写了保存和加载两种方式：

import pickle
def pkl_save(filename,file):output = open(filename, 'wb')pickle.dump(file, output)output.close()def pkl_load(filename):pkl_file = open(filename, 'rb')file = pickle.load(pkl_file) pkl_file.close()return file

2.joblib方式

from sklearn.externals import joblib
joblib.dump(model_lgb, 'dota_model.pkl')
clf = joblib.load('dota_model.pkl')

但是，使用你这两种方式遇到了一个坑，那就是sklearn版本的问题！

你可会发现这个错误“ModuleNotFoundError: No module named 'sklearn.preprocessing.label'”

产生这个的原因，是其实已经提醒我们了，

在版本大于0.21的情况下，函数发生了变化。

所以我们介绍第3中保存lightGBM的方式。

3. Booster

clf = lgb.LGBMClassifier( ... )
clf.fit(X_train, y_train, **fit_params)
clf.booster_.savemodel("dota_model.txt")

加载：

clf_loads = lgb.Booster(model_file='dota_model.txt')
probas    = clf_fs.predict(test)

需要注意的是，这里的是predict而不是predict_proba，得到概率。

在Github上所述的（现已关闭） ＃1217问题中 ，从事该项目的Microsoft开发人员说 ，在这种情况下：

booster.predict()实际上将返回概率

因此，不应该写predict_proba 。

LightGBM的metric有哪些？

1. “None”（字符串），表示无度量，等效于na，null，custom
2. l1（absolute loss），等效于mean_absolute_error，mae，regression_l1
3. l2（square loss），等效于mean_squared_error，mse，regression_l2，regression
4. rmse（平方根损失），等效于root_mean_squared_error，l2_root
5. quantile，分位数回归
6. mape（MAPE损失），等效于mean_absolute_percentage_error
7. huber（huber损失）
8. fair（fair损失）
9. poisson，泊松回归的负对数似然
10. gamma，Gamma回归的负对数似然
11. gamma_deviance，Gamma回归残差
12. tweedie，Tweedie回归的负对数似然
13. ndcg，等效于lambdarank，rank_xendcg，xendcg，xe_ndcg，xe_ndcg_mart，xendcg_mart
14. map，等效于mean_average_precision
15. auc
16. average_precision，平均精度得分
17. binary_logloss，log loss，等效于binary
18. binary_error，对于单样本，0用于正确分类，1用于错误分类
19. auc_mu
20. multi_logloss，多分类log loss，等效于multiclass，softmax，multiclassova，multiclass_ova，ova，ovr
21. multi_error，多分类错误率
22. cross_entropy，交叉熵（具有可选的线性权重），等效于xentropy
23. cross_entropy_lambda，“intensity-weighted”交叉熵，等效于 xentlambda
24. kullback_leibler，Kullback-Leibler散度，等效于kldiv

如何多个评价指标？

支持多个指标，使用“，”分隔。

• ‘metric’: {‘binary_logloss’, ‘auc’}