自动化调参NNI学习(二)：使用NNI框架调整LGBM模型

1. LGBM回归任务代码

import numpy as np
import lightgbm as lgbm
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression
import nnidef load_data(): # 这个用来读取数据reg_x, reg_y = make_regression(n_samples=1000, n_features=5)x_train, x_test, y_train, y_test = train_test_split(reg_x, reg_y, train_size=0.8, random_state=0, shuffle=True)return x_train, y_train, x_test, y_testdef get_model(param, x_train, y_train, x_test, y_test): # 这个用来计算结果，并报告给NNI框架model = lgbm.LGBMRegressor(**param)model.fit(x_train, np.array(y_train), eval_set=[(x_test, np.array(y_test))], early_stopping_rounds=100, verbose=-1)value = float(mean_squared_error(y_test, model.predict(x_test)))  # 注意这里只能是int，float类型，不能是numpy，ndarry这种类型nni.report_final_result(value)if __name__ == '__main__':RECEIVED_PARAMS = nni.get_next_parameter() # 得到框架返回的参数params = {'num_leaves': 120,'min_data_in_leaf': 60,'objective': 'regression','max_depth': -1,'learning_rate': 0.08,"min_child_samples": 40,"boosting": "gbdt","feature_fraction": 0.95, } # 初始参数x_train, y_train, x_test, y_test = load_data()params.update(RECEIVED_PARAMS) # 用框架的新参数，更新初始参数model = lgbm.LGBMRegressor(**params) # 建模get_model(params, x_train, y_train, x_test, y_test)  # 得到结果

2. 配置search_space.json

这个文件用来配置参数的调节范围：

{"num_leaves":{"_type":"randint","_value":[ 20,50 ]},"learning_rate":{"_type":"uniform","_value":[0.05 , 0.5 ]},"n_estimators":{"_type":"randint","_value":[ 50 , 200 ]},"min_child_samples":{"_type":"randint","_value":[ 5, 30 ]}
}

3. 配置config.yml

这是框架的配置文件

新建一个config.yml文件，写入：

searchSpaceFile: search_space.json # 这是参数空间，文件名匹配就行
trialCommand: python my_nni_lgbm.py # 这是python文件，文件名匹配就行
trialConcurrency: 10 # 同步进行10轮调参
maxTrialNumber: 10000 # 自动调参10000次
maxExperimentDuration: 8h # 持续8小时
tuner:name: TPEclassArgs:optimize_mode: minimize
trainingService: # For other platforms, check mnist-pytorch exampleplatform: local

然后在控制台运行：

nnictl create --config config.yml -p 12387

看到执行成功的日志：

INFO:  Starting restful server...
INFO:  Successfully started Restful server!
INFO:  Starting experiment...
INFO:  Successfully started experiment!
------------------------------------------------------------------------------------
The experiment id is me5YV9Q8
The Web UI urls are: http://127.0.0.1:12387   http://10.8.74.190:12387
------------------------------------------------------------------------------------You can use these commands to get more information about the experiment
------------------------------------------------------------------------------------commands                       description
1. nnictl experiment show        show the information of experiments
2. nnictl trial ls               list all of trial jobs
3. nnictl top                    monitor the status of running experiments
4. nnictl log stderr             show stderr log content
5. nnictl log stdout             show stdout log content
6. nnictl stop                   stop an experiment
7. nnictl trial kill             kill a trial job by id
8. nnictl --help                 get help information about nnictl
------------------------------------------------------------------------------------
Command reference document https://nni.readthedocs.io/en/latest/Tutorial/Nnictl.html
------------------------------------------------------------------------------------

访问本机：http://127.0.0.1:12387 ，就可以看到成功执行的界面：

自动化调参NNI学习(二)：使用NNI框架调整LGBM模型相关推荐

深度学习调参体验（二）
深度学习调参体验(二) 激活函数选择: 常用的激活函数有relu.leaky-relu.sigmoid.tanh等.对于输出层,多分类任务选用softmax输出,二分类任务选用sigmoid输出,回归 ...
机器学习狗太苦逼了！自动化调参哪家强？
机器学习狗太苦逼了!自动化调参哪家强? https://mp.weixin.qq.com/s/gqN0fDIJBoxyAxYaC2dI-w 作者|Facundo Santiago译者|李志编辑|Deb ...
自动化调参NNI学习(三)：使用python启动NNI框架调整随机森林(RandomForest)模型
首先按照NNI框架的要求写一个调参的代码文件my_rf.py: import nni from sklearn.model_selection import train_test_split impo ...
XGBoost调参技巧（二）Titanic实战Top9%
学习Kaggle的第一个比赛就是Titanic,断断续续的半年时间,从小白到杀入9%.XGBoost果真是Kaggle杀器,帮我在Titanic中进入9%.zillow进入22%. 简介 Titani ...
[自动调参]深度学习模型的超参数自动化调优详解
向AI转型的程序员都关注了这个号
spring boot 学习(二)spring boot 框架整合 thymeleaf
spring boot 框架整合 thymeleaf spring boot 的官方文档中建议开发者使用模板引擎,避免使用 JSP.因为若一定要使用 JSP 将无法使用. 注意:本文主要参考学习了大神 ...
二、CI框架之MCV模型
一.关于MCV,大概就是下图所示: 模型(model)-视图(view)-控制器(controller) M用来处理数据库,V用来显示界面,C用来控制二.对应到CI的源码,对应的是这3个目录转载于 ...
#####好好好####从Google Visor到Microsoft NNI再到Advisor调参服务接口发展史
从Google Visor到Microsoft NNI再到Advisor调参服务接口发展史 tobe Contributor to the world. 10 人赞了该文章介绍从规则编程到机器学习 ...
使用NNI，从此告别手动调参
一.前言最近在朋友的介绍下,了解了一个神经网络的调参神器--微软开发的NNI (Neural Network Intelligence),在经过简单尝试之后,发现是真的香.倘若你也苦于每次炼丹都要手 ...

自动化调参NNI学习(二)：使用NNI框架调整LGBM模型

1. LGBM回归任务代码

2. 配置search_space.json

3. 配置config.yml

自动化调参NNI学习(二)：使用NNI框架调整LGBM模型相关推荐

最新文章

热门文章