《scikit-learn》通过GridSearchCV来进行超参数优化

微调的一种方法是手工调制超参数，直到找到一个好的超参数组合，这么做的话会非常冗长，你也可能没有时间探索多种组合，所以可以使用Scikit-Learn的GridSearchCV来做这项搜索工作。

GridSearchCV的名字其实可以拆分为两部分，GridSearch和CV，即网格搜索和交叉验证。这两个名字都非常好理解。网格搜索，搜索的是参数，即在指定的参数范围内，按步长依次调整参数，利用调整的参数训练学习器，从所有的参数中找到在验证集上精度最高的参数，这其实是一个训练和比较的过程。
GridSearchCV可以保证在指定的参数范围内找到精度最高的参数，但是这也是网格搜索的缺陷所在，他要求遍历所有可能参数的组合，在面对大数据集和多参数的情况下，非常耗时。
以分类树作为例子来说明其用法。

from sklearn.model_selection import GridSearchCV
from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_splitwine = load_wine()  # 178个数据，13个属性，三个分类种类。
# 把红酒数据进行切分，切分成训练集和测试集合，切分比例一般是7:3
data_train, data_test, target_train, target_test = train_test_split(wine.data, wine.target, test_size=0.3)# 建立一些超参数的网格，会自动帮我们取选择最好的搭配
param_grid = [{'criterion': ['entropy'], 'max_features': [2, 4, 6, 8], 'max_depth': [5, 6, 7, 8],'min_impurity_decrease': [0.01, 0.02]},  # 一共有 1x4x4x2 个超参数组合{'criterion': ['gini'], 'max_features': [3, 5, 7, 8], 'max_depth': [4, 5, 6, 7],'min_impurity_decrease': [0.01, 0.02]},  # 一共有 1x4x4x2 个超参数组合
]  # 一共有 1x4x4x2 + 1x4x4x2 个超参数组合dtc = tree.DecisionTreeClassifier(criterion='entropy', class_weight='balanced')  # 定义一个决策树的实例，决策树节点的分裂选择的是 根据信息熵划分
grid_search = GridSearchCV(dtc, param_grid, cv=5,scoring='accuracy')  # GridSearchCV的名字其实可以拆分为两部分，GridSearch和CV，即网格搜索和交叉验证。# 使用多种参数组合的网格来进行训练。
clf = grid_search.fit(data_train, target_train)  # 这一步也是最耗费时间的。
score = grid_search.score(data_test, target_test)
print(score)  # 得到最后的评价分数print(grid_search.best_params_)  # 找到最优的超参数，这里帮我自动选择好了最优的参数列表
print(grid_search.best_estimator_)  # 找到最优化的模型，甚至把初始化参数都打印出来了# 找到了最好的那个模型
estimator = grid_search.best_estimator_
estimator.fit(data_train, target_train)
score = estimator.score(data_test, target_test)
print(score)

《scikit-learn》通过GridSearchCV来进行超参数优化相关推荐

超参数优化贝叶斯优化框架_10个超参数优化框架
超参数优化贝叶斯优化框架 Tune your Machine Learning models with open-source optimization libraries 使用开源优化库调整机器学 ...
【机器学习】五种超参数优化技巧
转载:我不爱机器学习超参数是用于控制学习过程的不同参数值,对机器学习模型的性能有显著影响. 超参数优化是找到超参数值的正确组合,以在合理的时间内实现数据的最大性能的过程 1 数据处理 import ...
机器学习模型的超参数优化 | 原力计划
作者 | deephub 责编 | 王晓曼出品 | CSDN博客头图 | CSDN付费下载自东方IC 引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模 ...
【机器学习】算法模型自动超参数优化方法
什么是超参数? 学习器模型中一般有两类参数,一类是可以从数据中学习估计得到,我们称为参数(Parameter).还有一类参数时无法从数据中估计,只能靠人的经验进行设计指定,我们称为超参数(Hyper ...
机器学习模型定点化_机器学习模型的超参数优化
引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般 ...
超参数优化贝叶斯优化框架_mlmachine-使用贝叶斯优化进行超参数调整
超参数优化贝叶斯优化框架机器 (mlmachine) TL; DR (TL;DR) mlmachine is a Python library that organizes and acceler ...
贝叶斯优化神经网络参数_贝叶斯超参数优化：神经网络，TensorFlow，相预测示例
贝叶斯优化神经网络参数 The purpose of this work is to optimize the neural network model hyper-parameters to est ...
tensorflow超参数优化_机器学习模型的超参数优化
引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般 ...
机器学习模型的超参数优化用于分子性质预测
在<预测化学分子的nlogP--基于sklearn, deepchem, DGL, Rdkit的图卷积网络模型>中简单介绍了sklearn模型的使用方法. 现在来介绍一下,如何对sklea ...

《scikit-learn》通过GridSearchCV来进行超参数优化

《scikit-learn》通过GridSearchCV来进行超参数优化相关推荐

最新文章

热门文章