神经网络评判指标及关系

一. IOU
- 1. 什么是IOU（IntersecTIon over Union）
二. 什么是准确率，精确率，召回率
- 1. 基本概念
- 2. 准确率（Accuracy）
- 3. 精确率（Precision [查准率]）
- 4. 召回率（Recall [查全率]）
三. P-R曲线，F值
- 1. P-R(Precision-Recall)
- 2. F值（F-Score [F-measure[均衡平均数]]）
四. AP，mAP
- 1. AP（Average Precision）
- 2. mAP（mean Average Precision）
五. ROC，AUC
- 1. 真正率（TPR），假正率（FPR）
- 2. ROC（Receiver Operator Characteristic）曲线
- 3. AUC(Area Under Curve)

一. IOU

1. 什么是IOU（IntersecTIon over Union）

IOU是一种测量在特定数据集中检测相应物体准确度的一个标准。IOU是一个简单的测量标准，只要是在输出中得出一个预测范围（bounding boxex）的任务都可以用IOU来进行测量。IOU的全称为交并比（Intersection over Union），通过这个名称我们大概可以猜到 IOU的计算方法。IOU计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。比值越高越接近准确范围。

二. 什么是准确率，精确率，召回率

1. 基本概念

TP（True Positive）：正样本预测答案正确
FP（False Positive ：错将负样本预测为正样本
FN（False Negative)：错将正样本标签预测为负样本
TN（True Negative) ：负样本预测答案正确

2. 准确率（Accuracy）

准确率的定义是预测正确的结果数量¹占总样本数量的比值，其公式如下：
Accuracy=TP+TNTP+TN+FP+FNAccuracy=\frac{TP+TN}{TP+TN+FP+FN} Accuracy=TP+TN+FP+FNTP+TN

虽然准确率可以判断总的正确率，但是在样本不平衡的情况下，并不能作为很好的指标来衡量结果。
举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的。对于这种情况，我们只需要将全部样本预测为正样本即可得到90%的高准确率。这就说明了：由于样本不平衡的问题，导致了得到的高准确率结果含有很大的水分。即如果样本不平衡，准确率就会失效。

正因为如此，也就衍生出了其它两种指标：精准率和召回率。

3. 精确率（Precision [查准率]）

精准率是针对预测结果而言的，它的含义是所有被预测为正的样本和实际为正的样本总样本数量的比值，即预测正确的正样本数量占所有预测结果数量的比值，其公式如下：
Precision=TPTP+FPPrecision =\frac{TP}{TP+FP} Precision=TP+FPTP

而准确率则代表整体的预测准确程度，精准率代表对正样本结果中的预测准确程度。

4. 召回率（Recall [查全率]）

召回率它是针对原样本而言的，它的含义是在正所有的正样本中正确预测正样本的概率，即正确预测正样本数量和所有正样本的比值，其公式如下：
Recall=TPTP+FNRecall =\frac{TP}{TP+FN} Recall=TP+FNTP

召回率越高，检索出准确结果数量越多。

三. P-R曲线，F值

1. P-R(Precision-Recall)

PR曲线的横轴代表查全率，实际上就是真正率，纵轴代表查准率。为了找到一个最合适的IOU阈值满足我们的要求，我们就必须遍历0到1之间所有的阈值，而每个阈值下都对应着一对查准率和查全率，从而我们就得到了这条曲线。

如果一个学习器的P-R曲线被另一个学习器的P-R曲线完全包住，则可断言后者的性能优于前者。我们可以根据曲线下方的面积大小(AP)来进行比较，但更常用的是平衡点或者是F1值。F1值越大，我们可以认为该学习器的性能较好。

2. F值（F-Score [F-measure[均衡平均数]]）

通常，我们希望准确率和召回率均越高越好，但事实上这两者在某些情况下是矛盾的。比如我们只搜出了一个结果，此结果是正确的，求得precisin等于1。但是由于只搜出一个结果，recall值反而很低，接近于0。所以为了综合查准率与查全率，我们引入了F-measure指标。其公式为：
Fβ=(1+β2)∗Precision∗Recall(β2∗Precision)+RecallF_{β}=(1+β^2)*\frac{Precision*Recall}{(β^2*Precision)+Recall} Fβ=(1+β2)∗(β2∗Precision)+RecallPrecision∗Recall

当β=1时，即为F1-Score,F1是精度和召回率的调和均值：
F1=2∗Precision∗RecallPrecision+RecallF_{1}=2*\frac{Precision*Recall}{Precision+Recall} F1=2∗Precision+RecallPrecision∗Recall

其中β>1，更加注重召回率；F<1,值更加重视准确率。

四. AP，mAP

1. AP（Average Precision）

AP是Precision-Recall Curve(PRC)下面的面积。绘制出平滑后的PR曲线后，用积分的方式计算平滑曲线下方的面积作为最终的AP值。

2. mAP（mean Average Precision）

通俗来说，就是给每一类分别计算AP，然后做mean平均。
mAP@.5: 即将IoU设为0.5时，计算每一类的所有图片的AP，然后所有类别求平均.
mAP@.5:.95 : 从0.5到0.95，步长0.05（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上的平均mAP。

五. ROC，AUC

1. 真正率（TPR），假正率（FPR）

真正率代表分类器预测的正类中实际正实例占所有正实例的比例。
TPR=TPTP+FNTPR =\frac{ TP}{TP+FN}TPR=TP+FNTP

假正率代表分类器预测的正类中实际负实例占所有负实例的比例。
FPR=FPFP+TNFPR =\frac{ FP}{FP+TN}FPR=FP+TNFP

2. ROC（Receiver Operator Characteristic）曲线

被广泛应用于二分类问题中来评估分类器的可信度，ROC则是从这个角度出发来研究学习器泛化性能的有力工具。ROC曲线也需要相应的IOU阈值进行绘制，原理同上的PR曲线。
可以利用ＲＯＣ曲线对不同模型进行比较，如果一个模型的ＲＯＣ曲线被另一个模型的曲线完全包住，则可断言后者的性能由于前者

3. AUC(Area Under Curve)

即指曲线下面积占总方格的比例，ＲＯＣ曲线下方的面积（ＡＵＣ）可以用来作为评估模型模型性能的指标．如当两个模型的ＲＯＣ曲线发生交叉，则很难说哪一个模型更好，这时候可以用ＡＵＣ来作为一个比较合理的判据

AUC (Area under Curve)：ROC曲线下的面积，介于0.1和1之间，作为数值可以直观的评价分类器的好坏，值越大越好。
AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值

正样本预测正确的结果，负样本预测正确的结果，即所有分类对应的正确结果数量 ↩︎

神经网络各种评判指标相关推荐

神经网络进化能力分析,神经网络进化能力指标
神经网络的泛化能力差吗? 泛化能力,英文全称generalizationability,指机器学习算法对新鲜样本的适应能力,一种预测新的input类别的能力. 通过学习找到隐含在数据背后的规律,并对具 ...
评价神经网络性能的指标,神经网络是参数模型吗
如何选择神经网络的超参数 1.神经网络算法隐含层的选取1.1构造法首先运用三种确定隐含层层数的方法得到三个隐含层层数,找到最小值和最大值,然后从最小值开始逐个验证模型预测误差,直到达到最大值. 最后选 ...
耳机基本知识及评判指标
耳机 1.阻抗.灵敏度.频率响应阻抗(Impedance):注意与电阻含义的区别,在直流电(DC)的世界中,物体对电流阻碍的作用叫做电阻,但是在交流电(AC)的领域中则除了电阻会阻碍电流以外,电容及 ...
VOT中的EAO评判指标
文章目录 1.期望覆盖率 1.1 A和R 1.2 理想EAO 1.3 标准EAO 2.实际计算 2.1估算EAO 2.2 EAO与R的关系看VOT竞赛报告时,经常会看到一个奇怪的现象,精度A和鲁棒性 ...
评判背景调查的几个重要KPI指标
yes背调在背景调查过程中,KPI分析是消除过度工作支出和调整背调过程的关键步骤.他们可以告诉您当前背调计划的哪些方面需要重新调整,哪些方面需要进一步投入-为您节省资源提供依据,并雇佣到更优秀.更安 ...
【预测模型】基于卷积神经网络CNN实现预测单输入单输出预测模型matlab源码
1 模型 2 部分代码 clc;clear;close all load('.\世界遗产假山数据\环秀山庄\2020.10数据\环秀山庄2020.10沉降1-5号点.mat') data = tabl ...
综合评价中几种指标权重确定方法
可以分为主观.客观以及主观与客观相结合的方法, 1 常见的主观赋权法一般地,主观赋权法在确定权重时主要依据决策者和专家的知识经验或偏好,将各指标按重要程度进行比较.分配权值或计算得出其权重,其认为 ...
上海交大张拳石：神经网络的可解释性，从经验主义到数学建模
作者 | 张拳石来源 | 转载自知乎Qs.Zhang张拳石本来想把题目取为"从炼丹到化学",但是这样的题目太言过其实,远不是近期可以做到的,学术研究需要严谨.但是,寻找适当的数 ...
imp 只导表前10条数据_做电商设计，你必须懂的10条数据指标
数据指标是什么?--是一个切入数据的角度.有了数据指标的存在,才能知道需要采集什么数据.需要持续监测什么数据.用什么角度来和历史表现做对比. 数据指标的类型各种各样,有些指标是被广泛使用的,如 DAU ...

神经网络各种评判指标

神经网络评判指标及关系

一. IOU

1. 什么是IOU（IntersecTIon over Union）

二. 什么是准确率，精确率，召回率

1. 基本概念

2. 准确率（Accuracy）

3. 精确率（Precision [查准率]）

4. 召回率（Recall [查全率]）

三. P-R曲线，F值

1. P-R(Precision-Recall)

2. F值（F-Score [F-measure[均衡平均数]]）

四. AP，mAP

1. AP（Average Precision）

2. mAP（mean Average Precision）

五. ROC，AUC

1. 真正率（TPR），假正率（FPR）

2. ROC（Receiver Operator Characteristic）曲线

3. AUC(Area Under Curve)

神经网络各种评判指标相关推荐

最新文章

热门文章

神经网络各种评判指标

神经网络评判指标及关系

一. IOU

1. 什么是IOU（IntersecTIon over Union）

二. 什么是准确率，精确率，召回率

1. 基本概念

2. 准确率（Accuracy）

3. 精确率（Precision [查准率]）

4. 召回率（Recall [查全率]）

三. P-R曲线，F值

1. P-R(Precision-Recall)

2. F值 （F-Score [F-measure[均衡平均数]]）

四. AP，mAP

1. AP（Average Precision）

2. mAP（mean Average Precision）

五. ROC，AUC

1. 真正率（TPR），假正率（FPR）

2. ROC（Receiver Operator Characteristic）曲线

3. AUC(Area Under Curve)

神经网络各种评判指标相关推荐

最新文章

热门文章

2. F值（F-Score [F-measure[均衡平均数]]）