机器学习11. ROC曲线、AUC值、Accuracy、Precision、Recall 含义

AUC/ROC，Accuracy，Precision，Recall 含义。查准率，查全率，样本均衡问题

部分图片转自这里

行的True和False表示预测为正负
列的Pos和Neg表示真实的正负
表哥说明：
- True Positive(TP)：将正类预测为正类的数量.
- True Negative(TN)：将负类预测为负类的数量.
- False Positive(FP)：将负类预测为正类数（假的正类–>其实是负累预测为正） → 误报 (Type I error).（把鸟当成敌机了）
- False Negative(FN)：将正类预测为负类数（假的负类–>其实是正类预测为负） → 漏报 (Type II error).（把敌机当成鸟了–>非常严重）
准确率（Accuracy）
- acc=TP+TN4个全部acc=\frac{TP+TN}{4个全部}acc=4个全部TP+TN，表示分类正确的比例。
- 准确率在样本不平衡时有较大缺陷。

记正负样本个数分别为：F=TP+FNF=TP+FNF=TP+FN和N=TN+FPN=TN+FPN=TN+FP

精确率（Precision）
- P=TPTP+FPP=\frac{TP}{TP+FP}P=TP+FPTP，表示分类器【分类正确的正样本】占【分类器分为正样本（不管对错）】的比例。
召回率（Recall）
- R=TPFR=\frac{TP}{F}R=FTP，表示分类器【分类正确的正样本】占【所有真正正样本】的比例
F1值
- 2F1=1P+1R\frac{2}{F_1}=\frac{1}{P}+\frac{1}{R}F12=P1+R1，精确率和调和率的调和均值（倒数均值）
- 只有当精确率和召回率都很高时，F1值才会很高
  准确率可以理解为在所有分类为正例的样品中，分类正确的样本所占比例；
  召回率可以理解为在所有原始数据集中的正例样品中，正确挑出的正例样本的比例。
FPR/TPR：
- FPR=FPN=FPFP+TNFPR=\frac{FP}{N}=\frac{FP}{FP+TN}FPR=NFP=FP+TNFP
- TPR=TPF=TPTP+FNTPR=\frac{TP}{F}=\frac{TP}{TP+FN}TPR=FTP=TP+FNTP
- 分母分别是真正的正负样本个数。
- TPR表示表示分类器预测为正样本占所有正样本的比例（和召回率一个公式）
- FPR表示负例中预测错误的（分类器预测为正例）占所有负样本的比例
ROC曲线
- 在逻辑回归中，默认使用0.5作为阈值，大于0.5判为正例，小于0.5判为负例。现在改变阈值，多次计算模型的FPR和TPR值。
- 每次得到一组FPR/TPR值，以他们作为x和y轴画一个点，将相邻点连线即是ROC曲线
- 最佳理想情况是左上角的(0,1)点（曲线越靠近他越好）。即负例中分类无错误(为0)，正例全部分对(为1)
AUC值
即ROC的线下面积
为什么使用Roc和Auc评价分类器
- 因为ROC曲线使用的是正负类内部分类正确错误的比例画图，可以克服数据平衡问题。当数据分布变化时，曲线形态基本不变。而Presision-Recall曲线则受影响较大。
  （a、b展示的是分类器
  在原始测试集(正负样本分布平衡)的结果，c、d是将测试集中负样本的数量增加到原来的10倍后）

机器学习11. ROC曲线、AUC值、Accuracy、Precision、Recall 含义相关推荐

ROC曲线 AUC值
全面了解ROC曲线一. 初识ROC曲线 1. ROC的前世今生: ROC的全称是"受试者工作特征"(Receiver Operating Characteristic)曲线, ...
机器学习模型常用评价指标（Accuracy, Precision, Recall、F1-score、MSE、RMSE、MAE、R方）
前言众所周知,机器学习分类模型常用评价指标有Accuracy, Precision, Recall和F1-score,而回归模型最常用指标有MAE和RMSE.但是我们真正了解这些评价指标的意义吗? ...
多分类模型Accuracy, Precision, Recall和F1-score的超级无敌深入探讨
https://zhuanlan.zhihu.com/p/147663370?from_voters_page=true 众所周知,机器学习分类模型常用评价指标有Accuracy, Precision ...
详解机器学习中 ROC曲线、AUC值、正确率、召回率
文章目录前言简介医学图像识别二分类问题 ROC 曲线如何画ROC曲线 AUC 前言简介在分类任务中,人们总是喜欢基于错误率来衡量分类器任务的成功程度.错误率指的是在所有测试样例中错分的样例比例 ...
机器学习之ROC曲线理解
ROC曲线 1.roc曲线曲线的坐标分别为真正例率(TPR)和假正例率(FPR),定义如下: 真正例的个数是实际值为正例被预测成为正例的值得个数,TPR是预测结果中真正例占实际值中正例的比例: 反正 ...
R语言|求ROC和AUC值
测试 junjun 2016年9月29日 1.求ROC和AUC值 #方法一:ROCR包中主要是两个class:prediction和performance.前者是将预测结果和真实标签组合在一起,生成一 ...
Accuracy, Precision, Recall和F1-score解释
本文解释分类问题常用评价指标Accuracy, Precision, Recall和F1-score 主要参考以下文章多分类模型Accuracy, Precision, Recall和F1-scor ...
算法模型评价详解：confusion matrix Accuracy Precision Recall F1 调和平均加权F1 Micro-F1 Macro-F1 PRC ROC AUC
目录问题定义 confusion matrix Accuracy Precision和Recall和PRC F1和调和平均加权F1 Micro-F1和Macro-F1 ROC和AUC PRC对比R ...
机器学习中ROC曲线和AUC评估指标
目录 1.真正例率(TPR )与假正例率(FPR)定义 2.ROC曲线(接受者操作特性曲线,receiver operating characteristic curve) 3.AUC(ROC曲线下 ...

机器学习11. ROC曲线、AUC值、Accuracy、Precision、Recall 含义

AUC/ROC，Accuracy，Precision，Recall 含义。查准率，查全率，样本均衡问题

机器学习11. ROC曲线、AUC值、Accuracy、Precision、Recall 含义相关推荐

最新文章

热门文章