sklearn 交叉验证与参数寻优

3.3. Model evaluation: quantifying the quality of predictions — scikit-learn 0.19.2 documentation

sklearn.model_selection 模型评估支持的metric
- Classification：accuracy/average_precision/f1/f1_micro/f1_macro/f1_weighted/f1_samples/neg_log_loss/precision/recall/roc_auc
- Clustering：adjusted_mutual_info_score/adjusted_rand_score/completeness_score/fowlkes_mallows_score/homogeneity_score/mutual_info_score/normalized_mutual_info_score/v_measure_score
- Regression：explained_variance/neg_mean_absolute_error/neg_mean_squared_error/neg_mean_squared_log_error/neg_median_absolute_error/r2

1. 交叉验证

sklearn.cross_validation ⇒ 新版的 sklearn 已将其移步至 sklearn.model_selection

cv: cross_validation，交叉验证

KFold 与 StratifiedKFold

from sklearn.model_selection import StratifiedKFold
from sklearn.model_selection import KFold

StratifiedKFold 是改进升级版的 KFold 方法，两者实现上的区别，根据二者的接口便知，

class sklearn.model_selection.KFold(n, n_folds=3, shuffle=False, random_state=None)# 一般取 n == len(y)# 也即根据长度进行split# 不考虑class distribution
class sklearn.model_selection.StratifiedKFold(y, n_folds=3, shuffle=False, random_state=None)

cross_val_score

参数：cv=10, scoring='neg_mean_squared_error'

alphas = np.logspace(-3, 2, 50)
test_scores = []
for alpha in alphas:clf = Ridge(alpha)test_score = np.sqrt(-cross_val_score(clf, X_train, y_train, cv=10, scoring='neg_mean_squared_error'))test_scores.append(np.mean(test_score))

2. 参数寻优

网格搜索：GridSearchCV
- http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html

svm + GridSearchCV 为例：

iris = datasets.load_iris()
svc = svm.SVC()
parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}# 以字典构建参数集合，最终组合出来的参数有 4 种（2*2）；
clf = GridSearchCV(svc, parameters)
clf.fit(iris.data, iris.target)for k, v in clf.cv_results_.items():print(k, v)

sklearn 交叉验证与参数寻优相关推荐

【超参数寻优】交叉验证（Cross Validation）超参数寻优的python实现：单一参数寻优
[超参数寻优]交叉验证(Cross Validation)超参数寻优的python实现:单一参数寻优一.交叉验证的意义二.常用的交叉验证方法 1.Hold one method 2.K-flod ...
自定义函数使用GridSearchCV参数寻优
自定义函数使用GridSearchCV参数寻优 GirdSearchCV and RandomizedSearchCV 自定义函数中使用GirdSearchCV GridSearchCV参数说明 Gr ...
【超参数寻优】交叉验证（Cross Validation）超参数寻优的python实现：多参数寻优
[超参数寻优]交叉验证(Cross Validation)超参数寻优的python实现:多参数寻优一.网格搜索原理二.网格搜索+交叉验证用于多参数寻优的python实现 1.训练模型及待寻优参数 ...
R语言caret包构建xgboost模型实战：特征工程（连续数据离散化、因子化、无用特征删除）、配置模型参数（随机超参数寻优、10折交叉验证）并训练模型
R语言caret包构建xgboost模型实战:特征工程(连续数据离散化.因子化.无用特征删除).配置模型参数(随机超参数寻优.10折交叉验证)并训练模型目录
python中算法(sklearn)的最优超参数寻优：skopt贝叶斯搜索
python中算法(sklearn)的最优超参数寻优:skopt贝叶斯搜索 Jeff Dean在ICML 2019上进行了有关AutoML的演讲,并将自动化分为4个级别手动构造预测变量,不引入学习的 ...
python svm超参数_grid search 超参数寻优
http://scikit-learn.org/stable/modules/grid_search.html 1. 超参数寻优方法 gridsearchCV 和 RandomizedSearchC ...
Keras训练神经网络进行分类并使用GridSearchCV进行参数寻优
Keras训练神经网络进行分类并使用GridSearchCV进行参数寻优在机器学习模型中,需要人工选择的参数称为超参数.比如随机森林中决策树的个数,人工神经网络模型中隐藏层层数和每层的节点个数,正则 ...
【超参数寻优】量子粒子群算法（QPSO）超参数寻优的python实现
[超参数寻优]量子粒子群算法(QPSO) 超参数寻优的python实现一.粒子群算法的缺点二.量子粒子群算法三.QPSO算法的python实现参考资料一.粒子群算法的 ...
MATLAB中使用LIBSVM进行SVM参数寻优
MATLAB中使用LIBSVM进行SVM参数寻优一些资源网站配置 svmtrain svmParams -t:表示选择的核函数类型 -g为核函数的参数系数 -c为惩罚因子系数 -v为交叉验证的数, ...

sklearn 交叉验证与参数寻优

1. 交叉验证

2. 参数寻优

sklearn 交叉验证与参数寻优相关推荐

最新文章

热门文章