auto-sklearn案例解析二

度量函数-metrics

auto-sklearn的度量函数是对sklearn度量函数的封装,我们即可以使用autosklearn已经封装好的metrics函数,也可以使用autosklearn的metrics函数封装器make_scorer函数封装我们自己的么metrics函数

使用autosklearn已经封装好的metrics函数

如果仅仅是获取的话,最简易的一种方式是直接去找源代码.你可以直接输入并点击autosklearn.metrics从而进入该方法的__Init__.py文件,在其中的第180行有使用make_scorer函数进行封装的源代码:

    # Standard regression scoresr2 = make_scorer('r2', sklearn.metrics.r2_score)mean_squared_error = make_scorer('mean_squared_error',sklearn.metrics.mean_squared_error,greater_is_better=False)......# Score functions that need decision valuesroc_auc = make_scorer('roc_auc', sklearn.metrics.roc_auc_score,greater_is_better=True, needs_threshold=True)......

二其中的r2则是autosklearn分类器的默认参数.如果我们想要使用这些函数的话,也十分的简单.下面就是一个使用正确率的函数

cls.fit(X_train, y_train, metric=autosklearn.metrics.accuracy)

不过根据autosklearn中的example,我们还可以使用以下代码直接获取相应的metrics函数的名字

        # Print a list of available metricsprint("Available CLASSIFICATION metrics autosklearn.metrics.*:")print("\t*" + "\n\t*".join(autosklearn.metrics.CLASSIFICATION_METRICS))print("Available REGRESSION autosklearn.metrics.*:")print("\t*" + "\n\t*".join(autosklearn.metrics.REGRESSION_METRICS))

利用autosklearn的封装器,封装我们自己的metrics函数

如同前面所写,我们使用make_scorer封装我们自己的评价函数:

    def accuracy(solution, prediction):# function defining accuracyreturn np.mean(solution == prediction)def accuracy_wk(solution, prediction, dummy):# function defining accuracy and accepting an additional argumentassert dummy is Nonereturn np.mean(solution == prediction)accuracy_scorer = autosklearn.metrics.make_scorer(name="accu_add",score_func=accuracy, # 此处使用上面的那一个函数都可以greater_is_better=True,needs_proba=False,needs_threshold=False,dummy=None)cls = autosklearn.classification.\AutoSklearnClassifier(time_left_for_this_task=60,per_run_time_limit=30, seed=1)cls.fit(X_train, y_train, metric=accuracy_scorer)

如前面所示,封装我们自己的评价函数或者说度量函数一共分为两步

第一步,设置一个函数,参数最起码为二,格式如上
第二步,使用make_scorer() 方法,制作我们自己的 scorer

其他常用函数

print(automl.show_models()):该语句的作用是展示最后我们获取的最佳模型
print(automl.sprint_statistics()):该语句的作用是展示模型的状态,该语句输出如下

    auto-sklearn results:Dataset name: digitsMetric: accuracyBest validation score: 0.991011Number of target algorithm runs: 25Number of successful target algorithm runs: 0Number of crashed target algorithm runs: 0Number of target algorithms that exceeded the memory limit: 0Number of target algorithms that exceeded the time limit: 0**中文对照:**uto-sklearn结果:数据集名称:数字度量:准确性最好的验证分数:0.991011目标算法的运行次数:25成功的目标算法的数量:0目标算法的崩溃次数:0超过内存限制的目标算法数量:0超过时间限制的目标算法的数量:0

中文翻译即学习笔记链接

官网首页
AutoSklearn手册
autosklearn案例解析一
-