1、PR曲线

P-R曲线是精确率precision与召回率recall 曲线，以recall作为横坐标轴，precision作为纵坐标轴。在介绍精确率和召回率之前，先来看下如下的混淆矩阵：

真实情况\预测结果	正	负
正	TP	FN
负	FP	TN

把正例正确分类为正例，表示为TP（true positive），把正例错误分类为负例，表示为FN（false negative）

把负例正确分类为负例，表示为TN（true negative），把负例错误分类为正例，表示为FP（false positive）

通过混淆矩阵可以计算出精确率precision和召回率recall：

$presion = \frac{TP}{TP + FP}$ $recall = \frac{TP}{TP + FN}$

此外还介绍两个和PR曲线无关的定义，TPR(敏感度)和TNR(特异度)：

TPR(敏感度): 识别出的正例占所有实际正例的比例

TNR(特异度): 识别出的负例占所有实际负例的比例

介绍完准确率和召回率就可以绘制P-R曲线了。（说明：准确率又叫查准率，召回率又叫查全率）

平衡点BEP (Break-Event Point)是查准率=查全率时的取值。

一个重要的问题就是：如何通过P-R曲线比较两个机器学习模型的效果呢？

若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则包住者性能优于被包住者
若2个P-R曲线交叉，则难于断言谁好谁坏，合理的判据是比较P-R曲线下的面积大小，但不
容易估算，设计了一些综合考虑查准率和查全率的性能度量，比如BEP。

2、ROC曲线

首先介绍两个概念ROC和AUC：

ROC : Receiver Operating Characteristic
——受试者工作特征，用于比较不同分类器的相对性能

AUC : Area Under ROC Curve
——ROC曲线下的面积，提供了评价模型平均性能的另一种办法

随机猜测的模型位于连接点 (TPR=0,FPR=0) 和 (TPR=1,FPR=1) 的主对角线上
Why？
以固定概率p分为正类，比如包含n+正实例，n-负实例期望正确分类pn+个正实例误分pn-个负实例，因此

$TPR = \frac{pn+}{n+} =p$ $FPR = \frac{pn-}{n-} = p$

于是TPR = FPR，因此位于对角线上。

机器学习性能评估——PR曲线与ROC曲线相关推荐

机器学习模型性能评估（二）：P-R曲线和ROC曲线
上文简要介绍了机器学习模型性能评估的四种方法以及应用场景,并详细介绍了错误率与精度的性能评估方法.本文承接上文,继续介绍模型性能评估方法:P-R曲线和ROC曲线. ...
机器学习性能度量(1)：P-R曲线与ROC曲线，python sklearn实现
最近做实验要用到性能度量的东西,之前学习过现在重新学习并且实现一下. 衡量模型泛化能力的评价标准,这就是性能度量.性能度量反应了任务需求,在对比不同模型的能力时,使用不同的性能度量往往会导致不同的评判 ...
百面机器学习 #2 模型评估：0102 精确率与召回率，假阳性与真阳性率，PR曲线和ROC曲线
文章目录 1. P-R(Precision-Recall)曲线 F1 score 2. 平方根误差的局限性 3. ROC曲线 ROC曲线绘制 4. AUC predict Positive predi ...
机器学习笔记--PR曲线和ROC曲线
最近在看周志华老师的机器学习,本文主要是对PR图和ROC曲线的整理. 一.PR图对于二分类问题,根据分类结果能形成"混淆矩阵". P是查准率,R是查全率,定义如下: 查准率P类似 ...
模型评估指标：P-R曲线和ROC曲线
在机器学习建模中,模型评估指标用于评估不同模型的优劣. 在分类任务中,最简单的评估指标莫过于错误率和精度了,错误率表示的是错误分类的样本个数占总样本个数的比例,精度则是1减去错误率. 错误率和精度的优 ...
机器学习中的性能指标：精度、召回率，PR曲线，ROC曲线和AUC，及示例代码
机器学习中的性能指标:精度.召回率.PR曲线,ROC曲线和AUC 精度.召回率基本概念 F-Score 度量曲线 PR曲线 ROC曲线 PR曲线和ROC曲线的比较 AUC 精度.召回率基本概念可 ...
机器学习笔记（一）P-R曲线与ROC曲线
P-R曲线与ROC曲线一.什么是P-R曲线? 二.什么是ROC曲线? 三.P-R曲线与ROC曲线有什么用? 三.绘制P-R曲线代码一.什么是P-R曲线? 要知道什么是P-R曲线,首先,我们要先了解 ...
机器学习：python绘制P-R曲线与ROC曲线
Python绘制P-R曲线与ROC曲线查准率与查全率 P-R曲线的绘制 ROC曲线的绘制查准率与查全率 P-R曲线,就是查准率(precision)与查全率(recall)的曲线,以查准率作为 ...
P-R曲线与ROC曲线使用总结
P-R曲线与ROC曲线总结作者:jliang https://blog.csdn.net/jliang3 1.P-R曲线 1)实际预测时二分类的四种情况真阳性/真正类(True Positive, ...

机器学习性能评估——PR曲线与ROC曲线

1、PR曲线

2、ROC曲线

机器学习性能评估——PR曲线与ROC曲线相关推荐

最新文章

热门文章