量化数值评估，查准率和召回率

我们想知道通过采取一个方法，是否使得误差变小。如果有一个量化的数值评估，通过这个数字的大小，我们可以得到误差变大了还是变小了。在这里，推荐大家在交叉验证集上实现误差分析，而不是在测试集上。

那么怎么选择一个量化数值评估，也就是合适的误差度量值。

例如我们希望用算法来预测癌症是否是恶性的，在我们的训练集中，只有0.5%的实例是恶性肿瘤。假设我们编写一个非学习而来的算法，在所有情况下都预测肿瘤是良性的，那么误差只有0.5%。然而我们通过训练而得到的神经网络算法却有1%的误差。这时，误差的大小是不能视为评判算法效果的依据，也就是不能作为误差度量值。

因此，我们需要思考一种合适的度量。

我们将算法预测的结果分为四种情况：

1.正确肯定（True Positive真阳性，TP）：预测为真，实际为真

2.正确否定（True Negative真阴性，TN）：预测为假，实际为假

3.错误肯定（False Positive假阳性，FP）：预测为真，实际为假

4.错误否定（False Negitive假阴性，FN）：预测为假，实际为真

则：

查准率Precision = TP/(TP + FP)。例如，在所有我们预测有恶性肿瘤的病人中，实际上有恶性肿瘤的病人的百分比，越高越好。

召回率/查全率Recall = TP/(TP+FN)。例如，在所有实际上有恶性肿瘤的病人中，成功预测有恶性肿瘤的病人的百分比，越高越好。

这样，对于我们刚才那个总是预测病人肿瘤为良性的算法，其查全率为1。

那么查准率和召回率之间的关系是怎样的呢。

我们继续用预测肿瘤性质的例子。假使，我们的算法输出的结果在0-1之间，我们使用阈值0.5来预测真和假。

若使用比0.5更大的阈值，如0.7,0.9，这样做会减少错误预测病人为恶性肿瘤的情况，同时会增加未能成功预测肿瘤为恶性的情况，这样一来，查准率会随之变大。

相反，若使用更小的阈值，预测恶性肿瘤的情况会增多，也就是查全率会随之增大。这样做的目的，是尽可能让所有可能是恶性肿瘤的病人都得到进一步的检查、诊断。

我们绘制不同阈值情况下，查准率和查全率之间的关系。

现在我们有了两个度量值：查准率和查全率。那么我们到底需要哪一个，或者说怎么权衡两者之间的关系，我们更加希望只用一个值，就能得到很好的效果。

从图中可以看出，结合实际，单独选择查准率和查全率都不合适。或者去两者的平均值也不合适，比如，一个为1，一个为0，显然是不行的。我们采用下面一种方法，解决我们的疑问。

这时计算 F1值（F1 Score），我们选择使得F1值最高的阈值。

量化数值评估，查准率和召回率相关推荐

【深度学习】查准率、召回率、AP、mAP
AP和mAP计算详解(代码全解) 参考:https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247490269&idx=3&a ...
yunyang1994 tensorflow_yolov3 对于检测中心点的边缘物体时评估IOU对召回率和精度的影响
我们在检测目标物体中心点时,现有的逻辑往往不能获得很好的效果,如下图: 识别时,程序会将不是方形的图像扩展为方形,不足的部分用灰色填充,目标框的绘制会首先在扩展为方形的图像上绘制,然后将超出原图像的部 ...
matlab 召回率,查准率、召回率、敏感性、特異性和F1-score的計算及Matlab實現
查准率(Precision):所有診斷為患病(1)樣本中實際為患病的比率. 召回率(Recall):所有患病樣本中被發現並診斷為患病的比率. 查准率 = TP/(TP+FP) 召回率 = TP/P = ...
【Elasticsearch】Elasticsearch 搜索体验可量化的指标查准率（精确率）、查全率（召回率）
文章目录 1.概述 1.1 召回率 1.2 精确率 1.3 表格 1.概述用户体验是感官反应,但感觉的搜索结果需要量化下. 如何量化?实际本质指标就是:查准率(精确率).查全率(召回率). 1.1 ...
模型评估准确率、召回率、ROC曲线、AUC总结
实际上非常简单,精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是对的.那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP). P = TP ...
准确率、查准率、召回率
混淆矩阵 True Positive(真正,TP):将正类预测为正类数 True Negative(真负,TN):将负类预测为负类数 False Positive(假正,FP):将负类预测为正类数误报 ...
朴素贝叶斯算法+模型的评价-查准率、召回率、F1-score及混淆矩阵（code实现）
1.介绍朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类算法. 朴素:特征条件独立. 贝叶斯:基于贝叶斯定理.
准确率，召回率，F值，机器学习分类问题的评价指标
下面简单列举几种常用的推荐系统评测指标: 1.准确率与召回率(Precision & Recall) 准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量.其中精度 ...
python垃圾分类准确率计算公式_准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure...
机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision), ...

量化数值评估，查准率和召回率

量化数值评估，查准率和召回率相关推荐

最新文章

热门文章