机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy

主要内容
- AUC的计算
- Precision、Recall、F-measure、Accuracy的计算

1、AUC的计算
AUC是一个模型评价指标，用于二分类模型的评价。AUC是“Area under Curve（曲线下的面积）”的英文缩写，而这条“Curve（曲线）”就是ROC曲线。
为什么要用AUC作为二分类模型的评价指标呢？为什么不直接通过计算准确率来对模型进行评价呢？答案是这样的：机器学习中的很多模型对于分类问题的预测结果大多是概率，即属于某个类别的概率，如果计算准确率的话，就要把概率转化为类别，这就需要设定一个阈值，概率大于某个阈值的属于一类，概率小于某个阈值的属于另一类，而阈值的设定直接影响了准确率的计算。使用AUC可以解决这个问题，接下来详细介绍AUC的计算。
例如，数据集一共有5个样本，真实类别为（1，0，0，1，0）；二分类机器学习模型，得到的预测结果为（0.5，0.6，0.4，0.7，0.3）。将预测结果转化为类别——预测结果降序排列，以每个预测值（概率值）作为阈值，即可得到类别。计算每个阈值下的“True Positive Rate”、“False Positive Rate”。以“True Positive Rate”作为纵轴，以“False Positive Rate”作为横轴，画出ROC曲线，ROC曲线下的面积，即为AUC的值。
那么什么是“True Positive Rate”、“False Positive Rate”？
首先，我们看如下的图示：

然后，我们计算两个指标的值：
TruePositiveRate=TPTP+FNTruePositiveRate=TPTP+FN，代表将真实负样本划分为正样本的概率
接着，我们以“True Positive Rate”作为纵轴，以“False Positive Rate”作为横轴，画出ROC曲线，ROC曲线下的面积，即为AUC的值。类似下图：

2、Precision、Recall、F-measure、Accuracy的计算
首先，我们看如下图示（与上边的图示相同）：

精确率（Precision）：Precision=TPTP+FPPrecision=TPTP+FP
召回率（Recall）：Recall=TPTP+FNRecall=TPTP+FN
F-measure：F−measure=2×Precision×RecallPrecision+Recall
F−measure=2×Precision×RecallPrecision+Recall
准确率（Accuracy）：Accuracy=TP+TNTP+TN+FP+FNPrecision=TPTP+FPPrecision=TPTP+FP

关于聚类的评价指标可以参考文章：
Clustering Algorithms and Evaluations
Evaluation of clustering
F-measure、RI 的计算

AUC、Precision、Recall、F-measure、Accuracy相关推荐

[白话解析] 通过实例来梳理概念：准确率 (Accuracy)、精准率(Precision)、召回率(Recall) 和 F值(F-Measure)
[白话解析] 通过实例来梳理概念 :准确率 (Accuracy).精准率(Precision).召回率(Recall)和F值(F-Measure) 文章目录 [白话解析] 通过实例来梳理概念 :准确率 ...
多分类f1分数_分类模型的F1-score、Precision和Recall 计算过程
分类模型的F1分值.Precision和Recall 计算过程引入通常,我们在评价classifier的性能时使用的是accuracy 考虑在多类分类的背景下 accuracy = (分类正确的样 ...
ROC，AUC，Precision，Recall，F1的介绍与计算
1. 基本概念 1.1 ROC与AUC ROC曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣,ROC曲线称为受试者工作特征曲线 (receiver operatin ...
准确率(Precision)、召回率(Recall)以及F值(F-Measure)
在信息检索.分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了一个汇总. 准确率.召回率.F1 信息检索.分类.识别.翻译等领域两个最基本指标是召回率 ...
机器学习_评价指标Accuracy（准确率）、Precision（精准度/查准率）、Recall（召回率/查全率）、F1 Scores详解
首先我们先上一个整体的公式: 混淆矩阵真实情况 T或F 预测为正1,P 预测为负0,N 本来的label为1,则预测结果正的话为T,负的话为F TP(正样本预测为正) FN(正样本预测为假) – – ...
accuracy、precision和recall 的理解
假设总共有 50 件商品,有 35 件是用户喜欢的,有15件是用户不喜欢的,我们的model根据某些特征预测哪些商品是用户喜欢的,哪些是用户不喜欢的,最后给用户推荐相关商品. 预测结果 : model ...
Alink漫谈(八) : 二分类评估 AUC、K-S、PRC、Precision、Recall、LiftChart 如何实现
Alink漫谈(八) : 二分类评估 AUC.K-S.PRC.Precision.Recall.LiftChart 如何实现文章目录 Alink漫谈(八) : 二分类评估 AUC.K-S.PRC.P ...
tf2 自定义循环训练，添加metrics(acc、auc、precision、recall)
参考自: https://blog.csdn.net/weixin_41485334/article/details/104393236 文章目录自定义循环训练,加入评估在此基础上训练可视化自定 ...
深度学习参数对模型的影响：Loss(损失）、方差、Precision(精确度)、Recall（召回率
损失.方差.precision_精确度.recall_召回率对模型的影响深度学习之Metrics 一. 偏差.方差.精确率.召回率四个概念二.一个好的模型对这几个指标有什么样的要求? 三. 基于 ...
precision and recall
首先强调multi-class 和multi-label是不同的,前者是每个样本只属于一个类别,后者是每个样本可以有多个类别标记,即多个类别在模式识别,信息检索,二分类等问题中常常需要对结果进行评价 ...

AUC、Precision、Recall、F-measure、Accuracy

机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy

AUC、Precision、Recall、F-measure、Accuracy相关推荐

最新文章

热门文章