1.图像分类准确率Accuracy

假设有测试样本100张图像，其中有90张预测对了类别，则准确率为：
Accuracy = 90/100*100% = 90%

2.Accuracy的缺点

假设测试样本100张，其中正例90张，负例10张，我们预测（瞎猜）所有的样本都是正例，那么可以得到准确率为：90%。（纳尼？瞎猜都能这么高？）可见这么高的准确率是没什么意义的。
总结：样本的不均衡是会影响模型的性能的。

3.什么是precision、recall以及F1指标、ROC曲线

这里引入一张表格，如下所示：

注：这里可以这样记忆
TP：P表示你预测的Positive，T（True）表示你预测正确，TP表示你把正样本预测为正样本
FP：P表示你预测的Positive，F（False）表示你预测错误，FP表示你把负样本预测为正样本
TN：N表示你预测的Negative，T（True）表示你预测正确，TN表示你把负样本预测为负样本
FN：N表示你预测的Negative，F（False）表示你预测错误，FP表示你把正样本预测为负样本

precision = TP / (TP + FP)
precision表示精确率，针对的是你所预测的正样本中，预测正确的正样本（即把正样本预测为正样本）占的比例。精确率越高，表示找的越准。

recall = TP / (TP + FN)
recall表示召回率，针对的是所有的正样本中，预测正确的正样本（即把正样本预测为正样本）占的比例。召回率越高，表示找的越全。

sensitivity = TP / (TP + FN)
sensitivity 表示灵敏度，表示对正例的预测能力（越高越好），数值上等于召回率。

specificity = TN / (TN + FP)
specificity 表示特异度，表示对负例的预测能力（越高越好）。

可以看到sensitivity 、specificity 就是归一化混淆矩阵对角线上的值。

F1 = 2 * precision * recall / (precision + recall)
F1指标综合考虑了precision和recall的影响，两者之一太小都会使得F1的值变小。

ROC曲线：
ROC曲线是以fp rate为横坐标，tp rate为纵坐标画的曲线，如下图所示：
注：该图来自博文 https://blog.csdn.net/u013063099/article/details/80964865

其中：
fp rate = FP / (FP + TN)，表示假阳率。指的是你预测为正实际为负的样本占所有负样本的比例。
tp rate = TP / (TP + FN)，表示真阳率。指的是你预测为正实际也为正的样本占所有正样本的比例。

AUC (Area Under Curve)
AUC表示的是ROC曲线下的面积。

举个例子ROC曲线的绘制过程说明：（2021.3.6补充）

对于某个类别，我们预测出有20个样本属于该类别，每个样本对应一个confidence（就是预测得到的概率），其中有6个样本是预测正确的。我们按照confidence的大小从大到小进行排序，如下表所示：
以第一个样本的confidence作为阈值，大于等于0.9则判断为正样本，可得混淆矩阵为：

计算可得：tpr = TP / (TP + FN) = 1 / (1 + 5) = 0.16667， fpr = FP / (FP + TN) = 0，得到ROC曲线的第一个坐标（0, 0.16667）
以第二个样本的confidence作为阈值，大于等于0.8则判断为正样本，可得混淆矩阵为：

计算可得：tpr = TP / (TP + FN) = 2 / (2 + 4) = 0.33333， fpr = FP / (FP + TN) = 0，得到ROC曲线的第一个坐标（0, 0.33333）
同理可得，ROC曲线的其它坐标，由此可以画出ROC曲线。

程序如下（参考：https://blog.csdn.net/hesongzefairy/article/details/104302499）:

from sklearn.metrics import roc_curve,auc
import matplotlib.pyplot as plty_label = ([1, 1, 0, 0, 0, 1, 1, 0, 0, 0,\1, 0, 0, 0, 0, 1, 0, 0, 0, 0])y_pre = ([0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.09,\0.08, 0.07, 0.06, 0.056, 0.040, 0.033, 0.03, 0.021, 0.015, 0.01])fpr, tpr, thersholds = roc_curve(y_label, y_pre)
roc_auc = auc(fpr, tpr)  # 计算AUC值
plt.plot(fpr, tpr, 'k--', label='ROC (area = {0:.2f})'.format(roc_auc))
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()

4.mAP的计算

mAP（mean Average Precision），即平均精确率均值。就是预测出每一个类别的精确率，再相加起来除以总的类别数。

举个例子说明：

以上面表格中的数据为例，我们按照confidence的大小对齐进行排序.
因为一共有6个样本的真实标签为1，因此我们可以得到6个recall的值，分别为1/6，2/6，3/6，4/6，5/6，6/6，其中每个recall的值可以对应多个precision值。
计算出每个recall对应的最大precision，分别为1/1，2/2，3/6，4/7，5/11，6/16，将它们相加并求平均，则可以得到该类别的AP。如下表所示。
求出每个类别的AP，再相加求平均，即可得到最后的mAP。
程序验证：

from sklearn.metrics import average_precision_scorey_label = ([1, 1, 0, 0, 0, 1, 1, 0, 0, 0,\1, 0, 0, 0, 0, 1, 0, 0, 0, 0])y_pre = ([0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.09,\0.08, 0.07, 0.06, 0.056, 0.040, 0.033, 0.03, 0.021, 0.015, 0.01])ap = average_precision_score(y_label, y_pre)
print(ap)  # 0.6501623376623377

验证结果正确。

5. 总结

总结求mAP的过程：
对于某个类别，将预测为正样本（TP + FN）的概率从大到小排序统计，找出每个recall对应下的最大precision，对所有precision求平均，得到该类别的AP值，对所有类别的AP值求平均，即得mAP。

结束。

precision，recall，sensitivity， specificity ，mAP等几种评价指标相关推荐

R语言构建logistic回归模型并评估模型：计算混淆矩阵、并基于混淆矩阵计算Accuray、Precision、Recall(sensitivity)、F1、Specificity指标
R语言构建logistic回归模型并评估模型:计算混淆矩阵.并基于混淆矩阵计算Accuray.Precision.Recall(sensitivity).F1.Specificity指标目录
机器学习常用的评测指标Rank-n、Precision Recall、F-score、Map 、CMC、ROC Single shot 和Muti shot
机器学习中常用的评测指标为:Rank-n.Precision & Recall.F-score.Map .CMC.ROC Single shot 和Muti shot,下面一个个进行介绍. 写 ...
目标检测模型的评价指标(Acc, Precision, Recall, AP, mAP, RoI)
目标检测模型的评价指标(Acc, Precision, Recall, AP, mAP, RoI) 对于一个目标检测模型的好坏,总的来说可以从以下三个方面来评估: 分类的精度如何.一般可以用准确度(A ...
准确率（Accuracy）、精度（Precision）、召回率（Recall）和 mAP 的图解
机器学习的评价指标让人眼花缭乱.以前我写过一篇笔记总结了这个话题,有兴趣的可以参考一下:一分钟看懂深度学习中的准确率(Accuracy).精度(Precision).召回率(Recall)和 mAP. ...
信息检索的评价指标(Precision, Recall, F-score, MAP)
转载自: 信息检索的评价指标(Precision, Recall, F-score, MAP) - 小村长技术blog - 博客频道 - CSDN.NET http://blog.csdn.net/l ...
『论文阅读笔记』目标检测模型中的性能评价方式-IOU、precision/recall、mAP、PR、Fps！
目标检测模型中的性能评估标准-IOU.precision/recall.mAP.PR.Fps! 文章目录一.交并比IOU 二.精确率(precision)和召回率(recall) 三.P-R(pre ...
机器学习分类器评价指标详解（Precision, Recall, PR, ROC, AUC等）（一）
为了系统性地理解机器学习模型的不同评价指标及其之间的关系,我们将从其定义出发,探究其物理含义及彼此之间的联系,并从数学上给出相应的公式推导,以方便后续用到时复习理解.由于篇幅较长,因此将其分为两篇,这 ...
性能评估指标（Precision, Recall, Accuracy, F1-measure）
文章目录一个例子 Precision 精准率召回率其他 Reference 一个例子首先我们看下面的一个表格,也是经典的二分类问题,常常会看见的表格: 如上表所示,行表示预测的label值,列 ...
算法模型评价详解：confusion matrix Accuracy Precision Recall F1 调和平均加权F1 Micro-F1 Macro-F1 PRC ROC AUC
目录问题定义 confusion matrix Accuracy Precision和Recall和PRC F1和调和平均加权F1 Micro-F1和Macro-F1 ROC和AUC PRC对比R ...
多分类模型Accuracy, Precision, Recall和F1-score的超级无敌深入探讨
https://zhuanlan.zhihu.com/p/147663370?from_voters_page=true 众所周知,机器学习分类模型常用评价指标有Accuracy, Precision ...

precision，recall，sensitivity， specificity ，mAP等几种评价指标

目录