近期使用了LightGBM进行了训练模型(计算违约概率)，结果发现其余XGBoost模型训练得到的结果存在较高相关性。

模型训练之后，主要通过JAVA进行部署，网上搜集了https://github.com/lyg5623/lightgbm_predict4j 这个开源项目，但是针对最新的LightGBM库所输出的模型文件不可用。因此，先用python将模型输出的JSON文件进行模型读取的翻译，然后再将Python脚本翻译成JAVA代码。

1、参考资料

2、模型输出

在训练完模型后，使用如下代码将模型保存为JSON格式。

json_model = gbm.dump_model()

file_name = 'gbm_model.json'

with open(file_name,'w') as file_object:

json.dump(json_model,file_object)

使用 http://jsoneditoronline.org/ 可以查看所输出的JSON格式文件的具体形式，通过展开分析可以发现，其具体就是将模型树结构转换为JSON格式输出。

json.png

接下来，使用python将模型输出的JSON文件进行读取，并遍历每一棵树结构，得到在每一颗树上的得分，然后将分数求和，计算最终违约概率值。

import json

import numpy as np

import pandas as pd

file = open(r'gbm_model.json', "rb") # 读取模型json文件

model = json.load(file)

feature_names = model['feature_names'] # 获取模型中所用的特征变量

# 定义一个函数判断每一个leaf是走left还是right

def decison(data,threshold,default_left):

'''

:param data: 特征值

:param threshold: 分割判断值

:param default_left: 默认分支 default_left= True or False

:return: 返回结果left_child or right_child

'''

if ((np.isnan(data)) and (default_left is True)):

return 'left_child'

elif data <= threshold:

return 'left_child'

else:

return 'right_child'

# 定义预测函数

def predict_gbm(data):

score = 0

for i in range(len(model['tree_info'])): # 遍历每一个节点

num_leaves = model['tree_info'][i]['num_leaves'] # 获取每颗树的节点数

tree = model['tree_info'][i]['tree_structure'] # 获取每一颗树结构

for i in range(num_leaves): # 遍历节点数

# 到达节点leaf,进行走向判断

threshold = tree.get('threshold')

default_left = tree.get('default_left')

split_feature = feature_names[tree['split_feature']] # 获取叶子节点的分割特征变量

next_decison = decison(data[split_feature],threshold,default_left)

# 获取下一个分支leaf

tree = tree[next_decison]

if tree.get('left_child','not found') == 'not found': # 如果到达节点节点停止遍历，返回对应值

score = score + tree['leaf_value']

break

return(score)

# 进行测试

predict_df = []

for i in range(len(df)):

predict_data = predict_gbm(df.iloc[i,:]) # 分值

predict_dt = 1 / (np.exp(-predict_data) + 1) # 将预测分值转为p值

predict_df.append(predict_dt)

以上Python是将JSON文件的树结构模型翻译成了code，有了这个逻辑，再将其转换为JAVA代码非常简单了，有需要者可私信我邮箱。