深度学习中评估指标:准确率Accuracy、召回率Recall、精确率Precision、特异度(真阴性率)和误报率、灵敏度(真阳性率)和漏报率、F1、PR、ROC、AUC、Dice系数、IOU
目录
准确率(Accuracy)
精确率(Precision,查准率)
召回率(Recall=TPR)
Precision-Recall曲线
F值(F-Measure,综合评价指标)
特异度TNR(真阴性率、specificity)
误报率(FPR、假阳性率)
灵敏度TPR(真阳性率、sensitivity)
漏报率(假阴性率、FNR)
ROC和AUC
Dice系数和IOU
预测 |
|||||
1 |
0 |
||||
实际情况 |
1 |
真阳性 (TP) |
假阴性 (FN) |
||
0 |
假阳性(FP) |
真阴性 (TN) |
|||
True Positives, TP(真阳性):预测为正样本,实际为正样本
False Positives,FP(假阳性):预测为正样本,实际为负样本
True Negatives,TN(真阴性):预测为负样本,实际为负样本
False Negatives,FN(假阴性):预测为负样本,实际为正样本
准确率(Accuracy)
准确率是一个用于评估分类模型的指标。通俗来说,准确率是指我们的模型预测正确的结果(包括正例和负例)所占的比例。
精确率(Precision,查准率)
在预测为正类的样本中,实际上属于正类的样本所占的比例。 在信息检索领域,精确率又被称为查准率。
注意:精确率和准确率不是一个东西,请大家注意不要搞混了!
召回率(Recall=TPR)
在所有正类样本中,被正确识别为正类别的比例是多少,通俗讲,识别出来的正类(预测的)占实际正类中的比例。
在信息检索领域,召回率又被查全率。
精确率和召回率可以观察下图理解,他们的分子相同,但分母是不一样的。而且有时候是矛盾的,极端情况下,我们只搜索出了一个结果,且是准确的,那么Precision就是100%,但是Recall就很低;而如果我们把所有结果都返回,那么比如Recall是100%,但是Precision就会很低。因此在不同的场合中需要自己判断希望Precision比较高或是Recall比较高。如果是做实验研究,可以绘制Precision-Recall曲线来帮助分析。
Precision-Recall曲线
在机器分类问题中,我们选用不同的阈值,因此,所得到的P(精确率)和R(召回率)也会有所不同,极端情况下,两个指标会自相矛盾,此时可以使用PR曲线来分析,以P(精确率)作y轴,R(召回率)作x轴,得到如下的PR曲线图。
F值(F-Measure,综合评价指标)
当Precision和Recall指标出现矛盾时,就需要综合考虑他们,最常见的方法就是F-Measure(又称为F-Score)。
F-Measure是Precision和Recall加权调和平均
F =(a^2 +1)/(1/P + a^2/R) = (a^2+1)*P*R / (a^2*P +R)
当参数a=1时,就是最常见的F1:
有时候我们对精确率和召回率并不是一视同仁,比如有时候我们更加重视精确率。我们用一个参数β来度量两者之间的关系。如果β>1, 召回率有更大影响,如果β<1,精确率有更大影响。自然,当β=1的时候,精确率和召回率影响力相同,和F1形式一样。含有度量参数β的F1我们记为Fβ, 严格的数学定义如下:
特异度TNR(真阴性率、specificity)
specificity(TNR):预测出来的负类占实际上负类的比例:
误报率(FPR、假阳性率)
预测出来的正类,但实际上是负类,占实际上负类的比例:
灵敏度TPR(真阳性率、sensitivity)
灵敏度:和召回率一样,预测出来是正类,实际上也是正类占所有正类的比例:
漏报率(假阴性率、FNR)
预测出来的负类,但实际上是正类,占实际上正类的比例:
ROC和AUC
ROC和AUC是评价分类器的指标,ROC的全名叫做Receiver Operating Characteristic。ROC关注两个指标TPR和FPR。
y轴:真阳性率(召回率)true positive rate ,TPR,称为灵敏度。所有实际正例中,正确识别的正例比例。
x轴:假阳性率(误报率)false positiverate, FPR,称为(1-特异度)。所有实际负例中,错误得识别为正例的负例比例。
Roc曲线用来评价分类器的性能。通过测试分类结果可以计算得到TPR和FPR的一个点对。再通过调整这个分类器分类的阈值(从0.1到0.9),阈值的设定将实例分类到正类或者负类(比如大于阈值划分为正类)。因此根据变化阈值会产生不同效果的分类,得到多个分类结果的点,可以画出一条曲线,经过(0, 0),(1, 1)。RoC曲线越靠近左上越好。从几何的角度讲,RoC曲线下方的面积越大,则模型越优。所以有时候我们用RoC曲线下的面积,即AUC(Area Under Curve)值来作为算法和模型好坏的标准。
注意:P/R和ROC是两个不同的评价指标和计算方式,一般情况下,检索用前者,分类、识别等用后者。
假设两个区域分别为X和Y
Dice系数和IOU
集合相似度度量的函数,通常用于计算两个样本的相似度,范围为【0,1】
将Dice看作自变量,IOU为因变量,那么函数图像如图:
深度学习中评估指标:准确率Accuracy、召回率Recall、精确率Precision、特异度(真阴性率)和误报率、灵敏度(真阳性率)和漏报率、F1、PR、ROC、AUC、Dice系数、IOU相关推荐
- 深度学习模型评估指标
深度学习模型评估指标 一个深度学习模型在各类任务中的表现都需要定量的指标进行评估,才能够进行横向的对比比较,包含了分类.回归.质量评估.生成模型中常用的指标. 一.分类评测指标 图像分类是计算机视觉中 ...
- 推荐系统中评测指标准确率和召回率
推荐系统中的评测指标10个: 这10个并不就是全部的,它的评测指标有很多,比如用户满意度(最重要的指标).预测准确度.覆盖率.多样性.新颖性.信任度.实时性.健壮性和商业目标. 其中准确率和召回率是在 ...
- 深度学习算法评估指标
一.精度: 检测到真实目标:检测到所有目标 二.召回率: 检测到真实目标:所有目标 三.精度-召回率曲线 四.平均精度: 精度-召回率曲线下的归一化面积 五.检测时间
- 误报率、故障检测率、漏报率、虚警率、误警率等指标异同及计算公式
文章目录 误报率.故障检测率.漏报率.虚警率.误警率等指标异同及计算公式 1. 一些标准指标的计算 true positive rate (tp rate)[真阳性率], or hit rate [命 ...
- 一分钟看懂深度学习中的准确率(Accuracy)、精度(Precision)、召回率(Recall)和 mAP
1. 真假阳性阴性 我们查体的时候,经常会听说检测结果呈"真阳性"."假阴性"等说法. 其中"真"."假"说的是检查结果 ...
- 【生动理解】深度学习中常用的各项评价指标含义TP、FP、TN、FN、Accuracy、Recall、IoU、mIoU
无论是对于图像领域的分类.检测问题,亦或点云领域的物体分类.场景分割,在评价一个模型的好坏时,经常涉及TP.FP.TN.FN.Recall.IoU.Accuracy...等指标进行衡量,那么这些指标是 ...
- 真阳假阳真阴假阴指标(TP,FP,TN,FN)精度Precision 准确率Accuracy 召回率Recall 总结
检测相关指标(TP,FP,TN,FN)总结表格 指标 定义 公式 备注 真阳性 (True Positive, TP) 预测为阳性,实际为阳性 - - 假阳性 (False Positive, FP) ...
- 深度学习中学习率和batchsize对模型准确率的影响
本内容来自其他的人解析,参考链接在最后的注释. 1. 前言 目前深度学习模型多采用批量随机梯度下降算法进行优化,随机梯度下降算法的原理如下: n是批量大小(batchsize),η是学习率(learn ...
- 【AI初识境】深度学习模型评估,从图像分类到生成模型
文章首发于微信公众号<有三AI> [AI初识境]深度学习模型评估,从图像分类到生成模型 这是<AI初识境>第10篇,这次我们说说深度学习模型常用的评价指标.所谓初识,就是对相关 ...
- 【AI白身境】深度学习中的数据可视化
文章首发于微信公众号<有三AI> [AI白身境]深度学习中的数据可视化 今天是新专栏<AI白身境>的第八篇,所谓白身,就是什么都不会,还没有进入角色. 上一节我们已经讲述了如何 ...
最新文章
- linux下用户操作
- python os模块详细_python之os模块详解
- [css] 你有使用过css的属性background-blend-mode吗?说说它的运用场景有哪些?
- 第七十六期:糟糕!服务器被植入挖矿木马,CPU飙升200%
- java圆形头像上传_Android自定义控件实例,圆形头像(图库 + 裁剪+设置),上传头像显示为圆形,附源码...
- 只想着一直调用一直爽, 那API凭证泄漏风险如何破?
- 四方支付系统,聚合平台搭建
- headfirstjava_1.BreakingTheSurface
- 程序员“好为人师”有错吗?
- 计算机组成基础(2)-- 微体系结构层
- 计算机网络信息安全参考文献,计算机网络信息安全学论文参考文献 计算机网络信息安全专著类参考文献有哪些...
- Win10应用商店无法联网
- 怪兽融合、神秘药水?《Monster Tamer》深度攻略,来不及解释快上车!
- CH340G常见故障的处理
- 用 8550 和 ULN2003 驱动小型直流电机正反转
- openldap范例数据库mysql_用mysql作openldap的后台数据库
- 以Mesos和Docker为核心的云操作系统
- 2018 ucla计算机排名,2018福布斯最具价值美国大学排名:加州UCLA位列榜首!
- 海思开发板遇到的问题启发性的链接
- 【Jquery】Pjax的了解与应用
热门文章
- 苹果手机如何分享wifi密码_WiFi密码破解器 v5.1.3手机版
- java 找不到符号变量_java 编程中出现的 找不到符号 的问题
- 可变参数宏...和__VA_ARGS__
- Windows10邮件添加qq邮箱已过期问题
- php 分换算成元,千元换算成元(千元单位换算器)
- 傅里叶级数的通俗理解
- 【FreeSwitch开发实践】使用SIP客户端Yate连接FreeSwitch进行VoIP通话
- 小米 12S Utra 莱卡水印生成在线工具
- 基于Python的淘宝用户行为数据分析
- case when then 中判断null的方法