很早以前就知道这些概念了，不过由于跟自己的认知习惯不一样，所以碰到了还是经常会忘。于是索性把这些概念总结一下，以后再忘了也好找（其他的文章太啰嗦了，计算方法也写的不清不楚….）
另外我也会陆续更新一些其他的机器学习相关概念和指标，即是方便自己，也方便他人吧。

注意：本文将混用正负样本和阳性(+)阴性(-)这两套说法

真阳率、假阳率

这些概念其实是从医学那边引入到机器学习里面的，所以其思维逻辑多多少少会跟做机器学习的有点出入。我们去看病，化验单或报告单会出现（+）跟（-），其分别表型阳性和阴性。比如你去检查是不是得了某种病，阳性（+）就说明得了，阴性（-）就说明没事。
那么，这种检验到底靠不靠谱呢？科研人员在设计这种检验方法的时候希望知道，如果这个人确实得了病，那么这个方法能检查出来的概率是多少呢（真阳率）？如果这个人没有得病，那么这个方法误诊其有病的概率是多少呢（假阳率）？
具体来说，看下面这张表（摘自百度百科）：

真阳率（True Positive Rate, TPR）就是：

真阳率=aa+c真阳率=aa+c

含义是检测出来的真阳性样本数除以所有真实阳性样本数。

假阳率（False Positive Rate, FPR）就是：

假阳率=bb+d假阳率=bb+d

含义是检测出来的假阳性样本数除以所有真实阴性样本数。

ROC（Receiver Operating Characteristic）

很简单，就是把假阳率当x轴，真阳率当y轴画一个二维平面直角坐标系。然后不断调整检测方法（或机器学习中的分类器）的阈值，即最终得分高于某个值就是阳性，反之就是阴性，得到不同的真阳率和假阳率数值，然后描点。就可以得到一条ROC曲线。
需要注意的是，ROC曲线必定起于（0，0），止于（1，1）。因为，当全都判断为阴性(-)时，就是（0，0）；全部判断为阳性(+)时就是（1，1）。这两点间斜率为1的线段表示随机分类器（对真实的正负样本没有区分能力）。所以一般分类器需要在这条线上方。

画出来大概是长下面这样（转自这里）：

AUC（Area Under Curve）

顾名思义，就是这条ROC曲线下方的面积了。越接近1表示分类器越好。
但是，直接计算AUC很麻烦，但由于其跟Wilcoxon-Mann-Witney Test等价，所以可以用这个测试的方法来计算AUC。Wilcoxon-Mann-Witney Test指的是，任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score（score指分类器的打分）。

方案一：
我们可以对于总样本中的M个正样本和N个负样本，组成M×NM×N个pair，如果某个pair正样本score大于负样本，则记1分，反之记0分，相等记0.5分。然后总分除以M×NM×N就是AUC的值了。复杂度O(M×N)O(M×N)

方案二：
基本思想一样，不过复杂度可以缩减到O((M+N)log(M+N))O((M+N)log(M+N))。
首先，我们将所有样本得分从大到小排序，则排名最高的样本rank为M+N，第二的为M+N-1，以此类推。然后我们将所有正样本的rank加和，其思想为：排名k的正样本至多比k-1个负样本的score要大。当我们将正样本的rank加和后，再减去(1+M)M/2(1+M)M/2，即正样本的个数，就是正样本score比负样本score大的pair个数。再除以O(M×N)O(M×N)就是AUC的值了，公式如下：

AUC=∑i∈positiveranki−(1+M)M2M×NAUC=∑i∈positiveranki−(1+M)M2M×N

注意：对score相等的样本，需要赋予相同的rank(无论这个相等的score是出现在同类样本还是不同类的样本之间，都需要这样处理)。具体操作就是把所有这些score相等的样本的rank取平均。然后再使用上述公式。比如score为0.8的有两个样本，rank为7和8，则其最终代入公式的rank为7.5

真阳率（true positive rate）、假阳率（false positive rate），AUC，ROC相关推荐

每日记录 8.28 TP（真阳率） NP（假阳率） FP
参考链接:https://blog.csdn.net/u011534057/article/details/51733244 https://blog.csdn.net/sinat_28576553/ ...
TPR FPR 真阳率（true positive rate）、假阳率（false positive rate），AUC，ROC
很早以前就知道这些概念了,不过由于跟自己的认知习惯不一样,所以碰到了还是经常会忘.于是索性把这些概念总结一下,以后再忘了也好找(其他的文章太啰嗦了,计算方法也写的不清不楚-.) 另外我也会陆续更新一 ...
真阳率(tp)、假阳率(np)
很早以前就知道这些概念了,不过由于跟自己的认知习惯不一样,所以碰到了还是经常会忘.于是索性把这些概念总结一下,以后再忘了也好找(其他的文章太啰嗦了,计算方法也写的不清不楚-.) 另外我也会陆续更新一 ...
评价指标——精确度，召回率，真阳率，假阳率，P-R曲线，ROC曲线，AUC
1.定义精确度(precision)/查准率:TP/(TP+FP)=TP/P 预测为真中,实际为正样本的概率召回率(recall)/查全率:TP/(TP+FN) 正样本中,被识别为真的概率 ...
假阳率（第一类错误）、假阴率，召回率、精确率
为什么统计检验中常关注假阳率(第一类错误)和假阴率(第二类错误),而机器学习中常关注准确率和精确率? 最根本的原因是统计检验的零假设和备择假设是"不平等"的两类.而机器学习的分类一 ...
准确率，精准率，召回率，真正率，假正率，ROC/AUC
最近在看到这些词得时候老是混淆,看了之后还很容易遗忘,于是查了些资料把他们记录下来. 我们在设计深度学习网络模型的时候经常要对其进行评估,评估就要用到这些东西,在接介绍这个率,那个率之前,我先来介 ...
ROC/AUC、精准率、召回率、真正率，假正率等指标含义，学习笔记
1. 混淆矩阵对于二分类模型,预测值与真实值的组合情况,行成了混淆矩阵. 第一个字母表示是否预测正确(T/F),第二个表示预测为 P/1 还是 N/0. 2. 准确率预测正确的结果占总样本的百分比 ...
误报率、故障检测率、漏报率、虚警率、误警率等指标异同及计算公式
文章目录误报率.故障检测率.漏报率.虚警率.误警率等指标异同及计算公式 1. 一些标准指标的计算 true positive rate (tp rate)[真阳性率], or hit rate [命 ...
真阳假阳真阴假阴指标（TP,FP,TN,FN）精度Precision 准确率Accuracy 召回率Recall 总结
检测相关指标(TP,FP,TN,FN)总结表格指标定义公式备注真阳性 (True Positive, TP) 预测为阳性,实际为阳性 - - 假阳性 (False Positive, FP) ...

真阳率（true positive rate）、假阳率（false positive rate），AUC，ROC

真阳率、假阳率

ROC（Receiver Operating Characteristic）

AUC（Area Under Curve）

真阳率（true positive rate）、假阳率（false positive rate），AUC，ROC相关推荐

最新文章

热门文章