信息检索的评价指标(Precision, Recall, F-score, MAP)
转载自:
信息检索的评价指标(Precision, Recall, F-score, MAP) - 小村长技术blog - 博客频道 - CSDN.NET
http://blog.csdn.net/lu597203933/article/details/41802155
之前写过一篇blog叫做机器学习实战笔记之非均衡分类问题:http://blog.csdn.net/lu597203933/article/details/38666699其中对Precision和Recall及ROC都有所讲解,其中区别在于Precision,Recall, F-score, MAP主要用于信息检索,而ROC曲线及其度量指标AUC主要用于分类和识别,ROC的详细介绍见上面的blog,这里的Precision、Recall和上篇blog的计算结果其实是一样的,只是这里从检索的角度进行理解。
一:Precision, Recall, F-score
信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate------注意统计学习方法中precesion称为精确率,而准确率为accuracy 是分类正确的样本除以总样本的个数。),召回率也叫查全率,准确率也叫查准率,概念公式:
召回率(Recall)= 系统检索到的相关文件 / 系统所有相关的文件总数;;;亦即预测为真实正例除以所有真实正例样本的个数
准确率(Precision)= 系统检索到的相关文件 / 系统所有检索到的文件总数;;;亦即等于预测为真实正例除以所有被预测为正例样本的个数
图示表示如下:
注意:(1)准确率和召回率是互相影响的,理想情况下肯定是做到两者都高,但是一般情况下准确率高、召回率就低,召回率低、准确率高,当然如果两者都低,那是什么地方出问题了。
(2)如果是做搜索,那就是保证召回的情况下提升准确率;如果做疾病监测、反垃圾,则是保准确率的条件下,提升召回。
所以,在两者都要求高的情况下,可以用F1(或者称为F-score)来衡量。计算公式如下:
F1= 2 * P * R / (P + R)
(1) 公式基本上就是这样,但是如何算图1中的A、B、C、D呢?这需要人工标注,人工标注数据需要较多时间且枯燥,如果仅仅是做实验可以用用现成的语料。当然,还有一个办法,找个一个比较成熟的算法作为基准,用该算法的结果作为样本来进行比照,这个方法也有点问题,如果有现成的很好的算法,就不用再研究了。
(2) 形象直观的理解就是Recall要求的是全,宁可错杀一千,不能放过一人,这样Recall就会很高,但是precision就会最低。比如将所有的样本都判为正例,这是Recall就会等于1,但是很多负样本都被当做了正例,在某些情况就不适用,比如邮件过滤,此时要求的是准确率,不能是召回率,将所有的邮件都当做垃圾邮件肯定是最坏的结果(此时Recall=1)。
如果没有证据证明你有罪,那么你就有罪,召回率会很高;如果没有证据证明你有罪,那么你就无罪,召回率会很低,不全,很多人逍遥法外;
二:MAP
MAP:全称mean average precision(平均准确率)。mAP是为解决P,R,F-measure的单点值局限性的,同时考虑了检索效果的排名情况。
计算如下:
假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4, 7;对于主题2检索出3个相关网页,其rank分别为1,3,5。对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。对于主题 2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP=(0.83+0.45)/2=0.64。”
参考文献:
1:http://blog.csdn.net/marising/article/details/6543943信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
2:http://blog.sina.com.cn/s/blog_662234020100pozd.htmlMAP(Mean Average Precision)
3:http://wenku.baidu.com/view/ef91f011cc7931b765ce15ec.html
信息检索的评价指标(Precision, Recall, F-score, MAP)相关推荐
- 信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)
from:https://blog.csdn.net/universe_ant/article/details/70090026 一:Precision.Recall.F-score 信息检索.分类. ...
- 目标检测模型的评价指标(Acc, Precision, Recall, AP, mAP, RoI)
目标检测模型的评价指标(Acc, Precision, Recall, AP, mAP, RoI) 对于一个目标检测模型的好坏,总的来说可以从以下三个方面来评估: 分类的精度如何.一般可以用准确度(A ...
- 深度学习基本知识(一)评价方法precision\recall\mAP
1.几种类型 比如我们要做一个在一堆猫狗图片中找猫的网络,那么: TruePositive(TP):真阳性,检测出是猫(1),真实情况确实是猫(1) FalsePositive(FP):假阳性,检测出 ...
- 分类模型性能评价指标:混淆矩阵、F Score、ROC曲线与AUC面积、PR曲线
以二分类模型为例:二分类模型最终需要判断样本的结果是1还是0,或者说是positive还是negative. 评价分类模型性能的场景: 采集一个称之为测试集的数据集: 测试集的每一个样本由特征数据及其 ...
- 机器学习模型常用评价指标(Accuracy, Precision, Recall、F1-score、MSE、RMSE、MAE、R方)
前言 众所周知,机器学习分类模型常用评价指标有Accuracy, Precision, Recall和F1-score,而回归模型最常用指标有MAE和RMSE.但是我们真正了解这些评价指标的意义吗? ...
- 计算深度学习评价指标Precision、Recall、F1
计算深度学习评价指标Precision.Recall.F1 对深度学习的结果进行评价是深度学习的重要一环,一般常用的评价方法有:准确率(Accuracy),精确率(Precision),召回率(Rec ...
- 机器学习分类器评价指标详解(Precision, Recall, PR, ROC, AUC等)(一)
为了系统性地理解机器学习模型的不同评价指标及其之间的关系,我们将从其定义出发,探究其物理含义及彼此之间的联系,并从数学上给出相应的公式推导,以方便后续用到时复习理解.由于篇幅较长,因此将其分为两篇,这 ...
- 机器学习常用的评测指标Rank-n、Precision Recall、F-score、Map 、CMC、ROC Single shot 和Muti shot
机器学习中常用的评测指标为:Rank-n.Precision & Recall.F-score.Map .CMC.ROC Single shot 和Muti shot,下面一个个进行介绍. 写 ...
- 准确率(Accuracy)、精度(Precision)、召回率(Recall)和 mAP 的图解
机器学习的评价指标让人眼花缭乱.以前我写过一篇笔记总结了这个话题,有兴趣的可以参考一下:一分钟看懂深度学习中的准确率(Accuracy).精度(Precision).召回率(Recall)和 mAP. ...
最新文章
- 我很高兴找了一张可以说明:为什么软件开发那么困难的图
- python中文字符串编码_浅谈python下含中文字符串正则表达式的编码问题
- 探秘网络背后黑产链:黑客攻击木马病毒机构内鬼防不胜防
- python免费试听-哈尔滨Python人工智能课程免费试听
- 什么是用户对计算机进行配置的重要工具,《计算机常用工具软件》试题1
- [MATLAB学习笔记]Rng函数
- SVM支持向量机(上)
- TP5 验证码功能实现(解决点击验证码不更新的问题)
- 判断存储过程是否存在某个参数名
- Primefaces dataTable设置某个cell的样式问题
- 博士哭诉自己入职深大7年,月薪不足3000开不起网课,望学校补助
- 如何展开Linux Memory Management学习?
- python中日期和时间格式化输出的方法
- SQL:mysql将datetime类型数据格式化
- HDU - 5950 Recursive sequence(矩阵快速幂)
- 服务器配置参数主要有哪些
- 服务器芯片组驱动,Intel芯片组INF驱动9.1.1.1027 For Windows7
- 2012年6月10日免费http代理大全
- 字节跳动取消大小周;淘宝、支付宝等阿里系App取消开屏广告;Python 3.10 beta 4发布
- 电脑出现An operating system wasn‘t found,please to Ctrl+alt+del如何解决