分类的评估标准_机器学习：模型评估之评估指标

要评估模型的好坏光有评估方法还不行，还得确定评估指标。评估指标就是衡量模型泛化能力好坏的评估标准，反映了任务需求；使用不同的评估指标往往会导致不同的评估结果。

在分类预测任务中，给定测试样例集，评估分类模型的性能就是把每一个待测样本的分类结果和它的真实标记比较。因此，准确率和错误率是最常用的两种评估指标：

√ 准确率就是分对样本占测试样本总数的比例

√ 错误率就是分错样本占测试样本总数的比例

由于准确率和错误率将每个类看得同等重要，因此不适合用来分析类不平衡数据集。在类不平衡数据集中，正确分类稀有类比正确分类多数类更有意义。此时查准率和查全率比正确率和错误率更适合。对于二分类问题，稀有类样本通常记为正例，而多数类样本记为负例。统计真实标记和预测结果的组合可以得到如下所示的混淆矩阵：

混淆矩阵

查准率(P)就是被分为正类的样本中实际为正类的样本比例：P=TP/(TP+FP)

查全率(R)就是实际为正类的样本中被分为正类的样本比例：P=TP/(TP+FN)

查准率和查全率之间通常是矛盾的，查准率高时，查全率往往偏低，反之亦然。因此为了综合考虑查准率和查全率，它们的调和均值F1度量被提出：

很多分类器可以为测试样例产生一个概率预测，因此也可以根据预测的概率将测试样例进行排序，把最可能是正例的排在最前面，把最不可能的正例排在最后面。这样，分类过程就相当于在这个排序中以某个“截断点”将样本分为两部分，前一部分分为正例，后一部分分为反例。在不同的应用任务下，用户可以根据不同的任务需求来选择不同的截断点。因此，排序本身的质量好坏体现了分类器在不同任务下的泛化性能。

ROC(受试者工作特征)曲线，根据分类器的预测结果对样例排序，并按此顺序依次选择不同的“截断点”逐个把样例作为正例进行预测，每次计算出当前分类器的“真正率”和“假正率”，然后以它们为纵轴和横轴绘图，就可得到ROC曲线。

真正率(TPR)就是被分为正类的正样本比例：TPR=TP/(TP+FN)

假正率(FPR)就是被分为正类的负样本比例：FPR=FP/(FP+TN)

若某个分类器的ROC曲线被另一个分类器的曲线“包住”，则后者性能优于前者；否则如果曲线交叉，可以根据ROC曲线下面积的大小进行比较，即AUC。

AUC的计算：

AUC度量了分类预测器样本排序的性能。

分类的评估标准_机器学习：模型评估之评估指标相关推荐

多分类f1分数_机器学习之分类模型评估总结
一.概述在机器学习模型搭建好之后,需要对模型进行评估,针对不同的算法模型有不同的评估方法,比如:分类算法.回归算法.聚类算法等,本文主要是针对分类算法的模型评估方法进行总结整理,便于自己对评估方法的 ...
正确率能很好的评估分类算法吗_机器学习算法：分类知识超全总结！
关注上方"Python数据科学",选择星标,关键时间,第一时间送达! ☞500g+超全学习资源免费领取 Datawhale,译者:张峰本文将介绍机器学习算法中非常重要的知识-分类 ...
kmeans及模型评估指标_机器学习模型评估指标总结
常用机器学习算法包括分类.回归.聚类等几大类型,以下针对不同模型总结其评估指标一.分类模型常见的分类模型包括:逻辑回归.决策树.朴素贝叶斯.SVM.神经网络等,模型评估指标包括以下几种: (1)二 ...
机器学习模型定点化_机器学习模型的超参数优化
引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般 ...
tensorflow超参数优化_机器学习模型的超参数优化
引言模型优化是机器学习算法实现中最困难的挑战之一.机器学习和深度学习理论的所有分支都致力于模型的优化. 机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数.超参数与一般 ...
机器学习模型非线性模型_机器学习模型说明
机器学习模型非线性模型 A Case Study of Shap and pdp using Diabetes dataset 使用糖尿病数据集对Shap和pdp进行案例研究 Explaining ...
机器学习方法_机器学习模型应用方法综述
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 来源 | 数据派THU(id:DatapiTHU) 作者:Julien Kervizic 翻译:陈之炎 ...
混淆矩阵评价指标_机器学习模型评价指标 -- 混淆矩阵
机器学习模型评价指标 – 混淆矩阵在机器学习领域中,混淆矩阵(confusion matrix)是一种评价分类模型好坏的形象化展示工具.其中,矩阵的每一列表示的是模型预测的样本情况:矩阵的每一行表示 ...
随机森林调参_机器学习-模型调参利器 gridSearchCV（网格搜索）
在机器学习模型中,需要人工选择的参数称为超参数.比如随机森林中决策树的个数,人工神经网络模型中隐藏层层数和每层的节点个数,正则项中常数大小等等,他们都需要事先指定.超参数选择不恰当,就会出现欠拟合或者 ...

分类的评估标准_机器学习：模型评估之评估指标

分类的评估标准_机器学习：模型评估之评估指标相关推荐

最新文章

热门文章