点击上方“算法数据侠”，选择“星标”公众号第一时间获取最新推文与资源分享小侠客们好呀，我是oubahe。继续为各位小侠客带来深度学习实战的实用小技巧，Sklearn和Tensorflow想必是大家做机器学习和深度学习时很熟悉的两个Python库，其中sklearn中有很多机器学习算法、数据预处理以及参数寻优的函数API，keras则可以快速实现你的神经网络结构。那么如何让sklearn和keras相遇而完美结合呢？换句话说，我们建立的深度学习网络模型有很多，通过Python和Tensorflow或者Pytorch构建一个神经网络模型非常方便，那么要想取得一个好的模型效果，就需要对神经网络模型进行调参，单一的人工调参是非常繁琐的(超参数一个一个调的感觉确实美滋滋~)，往往不容易取得一个好的效果。我们其实可以借助sklearn来自动参数搜索：Tensorflow2中提供sklearn包装器，分别用于分类的tensorflow.keras.wrappers.scikit_learn.KerasClassifier和用于回归的tensorflow.keras.wrappers.scikit_learn.KerasRegressor。下面就带各位小侠客来看一下通过Sklearn网格搜索GridsearchCV进行Tensorflow调参的方法。来吧，展示~

01

—

调整batch_size和epochs

首先我们可以使用网格搜索对batch_size和epochs这两个参数进行调整，我们可以根据自己的需要设置待选参数值，在这里我们设置batch_size 为 [10, 20, 40, 60, 80, 100]且epochs 为 [10, 50, 100]。具体实现过程如下：

import numpyfrom tensorflow.keras.wrappers.scikit_learn import KerasClassifierfrom sklearn.model_selection import GridSearchCVfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense# Function to create deep learning model, required for KerasClassifierdef create_model():    # create model    model = Sequential()    model.add(Dense(12, input_dim=8, activation='relu'))    model.add(Dense(1, activation='sigmoid'))    # Compile model    model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])    return model# fix random seed for reproducibilityseed = 7numpy.random.seed(seed)# load dataset (这里可以自行载入数据集)dataset = numpy.loadtxt("diabetes.csv", delimiter=",")# split into input (X) and output (Y) variablesX = dataset[:,0:8]Y = dataset[:,8]# create modelmodel = KerasClassifier(build_fn=create_model, verbose=0)# define the grid search parametersbatch_size = [10, 20, 40, 60, 80, 100]  # 设定的超参数batch_size取值范围epochs = [10, 50, 100]  # 设定的超参数epochs取值范围param_grid = dict(batch_size=batch_size, epochs=epochs)grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=-1)grid_result = grid.fit(X, Y)# summarize resultsprint("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))means = grid_result.cv_results_['mean_test_score']stds = grid_result.cv_results_['std_test_score']params = grid_result.cv_results_['params']for mean, stdev, param in zip(means, stds, params):    print("%f (%f) with: %r" % (mean, stdev, param))

通过上图中展示的训练结果图，我们可以看到batch_size为20和epochs为100个时达到最佳准确度68％。

02

—

调整优化算法

其次，深度网络中的优化算法有sgd、adam、RMSprop等，如何选择一个合适的优化算法是非常重要的。下面通过一个例子来展示如何通过网格搜索挑选优化算法。具体实现流程和第一步的流程类似，只是搜索变量换成了优化器optimizer。

import numpyfrom tensorflow.keras.wrappers.scikit_learn import KerasClassifierfrom sklearn.model_selection import GridSearchCVfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense# Function to create deep learning model, required for KerasClassifierdef create_model(optimizer='adam'):    # create model    model = Sequential()    model.add(Dense(12, input_dim=8, activation='relu'))    model.add(Dense(1, activation='sigmoid'))    # Compile model    model.compile(loss='binary_crossentropy', optimizer=optimizer, metrics=['accuracy'])    return model# fix random seed for reproducibilityseed = 7numpy.random.seed(seed)# load dataset (这里可以自行载入数据集)dataset = numpy.loadtxt("diabetes.csv", delimiter=",")# split into input (X) and output (Y) variablesX = dataset[:,0:8]Y = dataset[:,8]# create modelmodel = KerasClassifier(build_fn=create_model, verbose=0)# define the grid search parametersoptimizer = ['SGD', 'RMSprop', 'Adagrad', 'Adadelta', 'Adam', 'Adamax', 'Nadam'] # 设定的超参数optimizer取值param_grid = dict(optimizer=optimizer)grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=-1)grid_result = grid.fit(X, Y)# summarize resultsprint("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))means = grid_result.cv_results_['mean_test_score']stds = grid_result.cv_results_['std_test_score']params = grid_result.cv_results_['params']for mean, stdev, param in zip(means, stds, params):    print("%f (%f) with: %r" % (mean, stdev, param))

由上图中的结果可知，针对不同的问题，不同的优化函数取得的结果确实是不一样的，从本例结果可以看到采用adam优化算法取得最优结果。到这里各位小侠客应该理解了如何通过Sklearn中的网格搜索来对Tensorflow构建的深度模型调参，本文只列出来几个网络参数，其他如学习率以及神经元数量等参数的调整方法也是一样的，只需要将待选参数输入进去就可以等待运行结果。各位小侠客如果有兴趣可以找一个数据集然后按照本文实例中的代码自己运行一遍，相信你将会有不一样的收获哟。

03

—

结束语

上述内容就是Sklearn与Tensorflow完美结合的全部内容啦，主要分享了通过Sklearn中的GridSearch来帮助Tensorflow构建的深度分类或回归模型搜索取值范围内最优的超参数组合，使得深度模型达到相对最佳的学习性能，这些技巧你学废了吗！？学习的时间如此短暂，如此实用的技巧各位小侠客要学以致用哟。我是oubahe，下次再见叻~

码字虽少，原创不易。分享是快乐的源泉，小侠客们记得来个素质三连 ：点击左下角分享 —> 右下角点赞—>在看本文，可以汇聚好运气召唤神龙哟~