【机器学习】算法调参

# -*- coding: utf-8 -*-
"""算法调参.ipynbAutomatically generated by Colaboratory.Original file is located athttps://colab.research.google.com/drive/1kILamn8ac8vii9GUkiWowl8TIFwl2MCv### 超参数优化这是机器学习模型解决问题的最后一个步骤，并不是整个解决方案的最后一步。不会调参就不能说会机器学习。参数分为了两种：- 影响模型在训练集上的准确度，防止模型过拟合的参数
- 与准确度和过拟合无关的参数其中调参调的是第一类参数。这里介绍两类算法：- 网格搜索
- 随机搜索#### 网格搜索通过遍历已定义的参数列表，来评估算法的参数，从而找到最优参数。使用方法是`GridSearchCV`，实现对参数的跟踪，调整和评估，最终找到最优参数。**网格搜索适用于三四个超参数或者更少的情况，否则计算量会非常大，此时要转成随机搜索。**
"""# 网格搜索代码from pandas import read_csv
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV# 导入数据
filename = 'http://ftp.ics.uci.edu/pub/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data'
names = ['preg','plas','pres','skin','test','mass','pedi','age','class']
data = read_csv(filename, names=names)# 数据划分
array = data.values
X = array[:, 0:8]
y = array[:, 8]model = Ridge()# 设置要遍历的参数param_grid = {'alpha': [1, 0,.1, 0.01, 0.001, 0]}# 网格搜索
grid = GridSearchCV(estimator=model, param_grid=param_grid)
grid.fit(X,y)print('最高得分：%.3f' % grid.best_score_)
print('最优参数：%s' % grid.best_estimator_.alpha)"""其中，`param_grid`是 一个字典对象，算法需要的参数名是`key`，需要遍历的参数值列表为`value`。可以设定多个`key-value`对，同时查询多个最优参数值。### 随机搜索优化这个需要牵涉到随机的方法，即采样的方法。
"""from pandas import read_csv
from sklearn.linear_model import Ridge
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform# 导入数据
filename = 'http://ftp.ics.uci.edu/pub/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data'
names = ['preg','plas','pres','skin','test','mass','pedi','age','class']
data = read_csv(filename, names=names)# 数据划分
array = data.values
X = array[:, 0:8]
y = array[:, 8]model = Ridge()# 设置要遍历的参数param_grid = {'alpha': uniform()}# 网格搜索
grid = RandomizedSearchCV(estimator=model, param_distributions=param_grid, n_iter=100, random_state=7)
grid.fit(X,y)print('最高得分：%.3f' % grid.best_score_)
print('最优参数：%s' % grid.best_estimator_.alpha)

END.

参考：

《机器学习Python实践》

【机器学习】算法调参相关推荐

机器学习算法调参神器之1：学习曲线
在Python中重要的机器学习库scikit-learn的算法模型应用中涉及各类关键参数,那么,如果选择及调整这些参数才能优化模型运行结果呢?下面介绍一下机器学习算法中常用的调参神器之一的:学习曲线. ...
使用Hyperopt实现机器学习自动调参
文章目录机器学习自动调参 1. Hyperopt **Hyperopt搜索参数空间** 参数空间的设置使用sample函数从参数空间内采样: 在参数空间内使用函数: **指定搜索的算法** 实例 ...
boosting算法调参
算法调参参考:XGBoost https://blog.csdn.net/han_xiaoyang/article/details/52665396 GBM https://blog.csdn. ...
基于Python贝叶斯优化XGBoost算法调参报错“TypeError: ‘float‘ object is not subscriptable”
基于Python贝叶斯优化XGBoost算法调参运行情况如下: iter target colsam- gamma max_depth min_ch- subsample 1 0.9398 0.804 ...
机器学习模型调参指南（附代码）
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达导读 ML工作流中最困难的部分之一是为模型找到最好的超参数.ML模 ...
深度强化学习算法调参
深度强化学习调参技巧:以D3QN.TD3.PPO.SAC算法为例这个参考链接. 如何选择深度强化学习算法? 参考链接. 影响PPO算法性能的10个关键技巧(附PPO算法简洁Pytorch实现) 主要 ...
随机森林调参_机器学习-模型调参利器 gridSearchCV（网格搜索）
在机器学习模型中,需要人工选择的参数称为超参数.比如随机森林中决策树的个数,人工神经网络模型中隐藏层层数和每层的节点个数,正则项中常数大小等等,他们都需要事先指定.超参数选择不恰当,就会出现欠拟合或者 ...
几种机器学习常用调参方式对比(网格搜索，随机搜索，贝叶斯优化)
网格搜索(GridSearchCV): grid search就是穷举,穷举所有得超参组合 Ex:当对决策树调参,若只对一个超参优化,如树的最大深度,尝试[3,5,7],则可表示为若还想对分裂标准进 ...
漫谈机器学习的【泛化能力】【模型能力】【调参技巧】_CodingPark编程公园
漫谈机器学习完成第一幅初稿完成终稿 1945年12月5日 1946年1月17日前言上面的画就是20世纪最著名的抽象派画家毕加索于1946年1月17日完稿的画作--公牛,寥寥几笔,勾勒出公牛的& ...

【机器学习】算法调参

【机器学习】算法调参相关推荐

最新文章

热门文章