【机器学习－西瓜书】二、性能度量：召回率；P-R曲线；F1值；ROC;AUC

关键词：准确率（查准率，precision）；召回率（查全率，recall）；P-R曲线，平衡点（Break-Even Point， BEP）；F1值，F值；ROC（Receiver Operating Characteristic，受试者工作特征）；AUC（Area Under ROC Curve）；非均等代价（unequal cost）

推荐阅读：召回率（查全率，recall）；F1值，F值

2.3性能度量

关键词：准确率（查准率，precision）；召回率（查全率，recall）。
对于分类问题，通常说的“准确率”指的是accuracy，是精度。而真正的准确率应该是针对某一个类别而言的。以下针对二分类而言（正例与反例）， precision 是学习器判断为正例的那堆中，判得正确的占多少， recall 是实际上有那么多正例，学习器找回了多少。

具体可将样例根据真是类别与学习器预测类别的组合划分为真正例（true postive），假正例（false postive），真反例（true negative），假反例（false negative），显然TP + FP +TN +FN = 样例总数。分类结果的混淆矩阵（confusion matrix）如下表：

正确率（precision） P=TPTP+FPP=\frac{TP}{TP+FP}
召回率（recall） P=TPTP+FNP=\frac{TP}{TP+FN}
可以看到，分子是一样的，分母不同，FP 和FN 是矛盾的，一个高了另外一个就低了。

关键词：P-R曲线，平衡点（Break-Even Point， BEP）

P-R曲线用来衡量分类器性能的优劣，横轴为recall ，纵轴为precision，P-R曲线是如何衡量分类器性能的呢？
如图，有三个分类器,A,B，C，若一个学习器的P-R曲线完全被另外一个学习器完全”包住”，则说后则性能优于前者。如学习器A优于C，但是有交叉时，就要用平衡点（BEP）来衡量。平衡点即precision 等于 recall 时的值。那么可以认为A优于B。

关键词：F1值，F值。

采用BEP还是过于简单。实际应用中更常见的是用F值来衡量。
一般形式如下 F=(1+β2)P⋅Rβ2⋅P+RF=\frac{\left (1+β^{2} \right )P\cdot R}{β ^{2} \cdot P +R }， F1 是基于正确率和召回率的调和平均定义的，即β=1，正确率，召回率同等重要,F1值还可以写成这个形式（在吴恩达的课程上看到的）F1=21P+1RF_{1}=\frac{2}{\frac{1}{P}+\frac{1}{R}}

而有所偏好的情况下，可根据β来调整。当β大于1时，召回率有更大影响，β小于1时，正确率有更大影响。

关键词：ROC（Receiver Operating Characteristic，受试者工作特征）。
源于二战。ROC曲线横轴是假正例率（False Positive Rate，FPR）,纵轴是真正例率（True Positive Rate，TPR）。
TPR=TPTP+FN TPR=\frac{TP}{TP+FN}
FPR=FPTN+FP FPR=\frac{FP}{TN+FP}

（0，1）点是最理想状况，通常ROC曲线不是光滑，而是像右边这样的。

关键词：AUC（Area Under ROC Curve）。
当两条ROC相交时，就采用AUC来衡量学习器。AUC越大，学习器性能越好。

关键词：非均等代价（unequal cost）。
现实任务中会遇到这样的情况：不同类型的错误所造成的后果不同。例如，错误地把患者诊断为健康人与错误地把健康人诊断为患者，其“代价”是不一样的。因此可以根据具体问题来设计“代价”。

【机器学习－西瓜书】二、性能度量：召回率；P-R曲线；F1值；ROC;AUC相关推荐

分类器MNIST交叉验证准确率、混淆矩阵、精度和召回率（PR曲线）、ROC曲线、多类别分类器、多标签分类、多输出分类
本博客是在Jupyter Notebook下进行的编译. 目录 MNIST 训练一个二分类器使用交叉验证测量精度混淆矩阵精度和召回率精度/召回率权衡 ROC曲线多类别分类器错误分析多标签 ...
精度、召回率、准确率、F1、ROC、AUC的理解
1. 错误率.精度精度(accuracy) 分类正确的样本数占总样本数的比例错误率(error rate) 分类错误的样本数占总样本数的比例通常来说精度(accuracy)不是一个好的性能指标, ...
周志华-机器学习西瓜书-第三章习题3.3 编程实现对率回归
本文为周志华机器学习西瓜书第三章课后习题3.3答案,编程实现对率回归,数据集为书本第89页的数据使用tensorflow实现过程 # coding=utf-8 import tensorflow a ...
机器学习西瓜书-1-2章
学习目标: 概览机器学习西瓜书 1.2章学习内容: 第一章绪论 1.1 基本术语 1.2 假设空间 1.3 归纳偏好 1.4 发展历程第二章模型评估与选择 2.1 经验误差与过拟合 2.2 评 ...
《统计学习方法》-李航、《机器学习-西瓜书》-周志华总结+Python代码连载（一）--模型选择+误差评估
一.模型选择 1.1 模型模型就是学习的条件概率分布或者决策函数(这里只指监督学习).条件概率的集合:,决策函数的集合:.条件概率表示的模型为概率模型,决策函数表示的模型为非概率模型. 1.2 模型 ...
机器学习中的性能指标：精度、召回率，PR曲线，ROC曲线和AUC，及示例代码
机器学习中的性能指标:精度.召回率.PR曲线,ROC曲线和AUC 精度.召回率基本概念 F-Score 度量曲线 PR曲线 ROC曲线 PR曲线和ROC曲线的比较 AUC 精度.召回率基本概念可 ...
机器学习西瓜书（周志华）第七章贝叶斯分类器
第七章贝叶斯分类器 1. 贝叶斯决策论 1.1 先验分布 1.2 后验分布 1.3 似然估计 1.4 四大概率在贝叶斯分类中指代含义 1. 朴素贝叶斯 7. 课后练习参考答案 1. 贝叶斯决策论贝 ...
机器学习西瓜书南瓜书神经网络
机器学习西瓜书&南瓜书神经网络 1. 神经元模型神经网络:由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实事件物体所做出的交互反应. 神经网络最基本的成分 ...
小白学机器学习西瓜书-第三章对数几率回归
小白学机器学习西瓜书-第三章对数几率回归 3.3 对数几率回归 3.3.1 对数几率函数 3.3.1 估计参数上一部分我们介绍了线性回归,包括简单的二元回归和多元回归,这两个主要解决的是拟合预测的问 ...
机器学习笔记-多分类下的召回率和F值
分类任务中常见的评估指标,包括准确率(Accuracy).精确率(Precision).召回率(Recall)和值.但是在多分类场景中,我们通常也会采用召回率或者F值来作为评价指标. 1.分类评估指标 ...

【机器学习－西瓜书】二、性能度量：召回率；P-R曲线；F1值；ROC;AUC

【机器学习－西瓜书】二、性能度量：召回率；P-R曲线；F1值；ROC;AUC相关推荐

最新文章

热门文章