机器学习评价指标AUC计算公式

1.什么是AUC？

AUC（are under curve)是一个模型的评价指标，用于分类任务。
那么这个指标代表什么呢？这个指标想表达的含义，简单来说其实就是随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率。

2.如何计算AUC？

方法一

在有M个正样本,N个负样本的数据集里。一共有MN对样本（一对样本即，一个正样本与一个负样本）。统计这MN对样本里，正样本的预测概率大于负样本的预测概率的个数。

这里第一个条件应该为P(正样本)>P(负样本)。
举例：

假设有4条样本。2个正样本，2个负样本，那么M*N=4。即总共有4个样本对。分别是：
（D,B）,（D,A）,(C,B),（C,A）。
在（D,B）样本对中，正样本D预测的概率大于负样本B预测的概率（也就是D的得分比B高），记为1
同理，对于（C,B）。正样本C预测的概率小于负样本C预测的概率，记为0.
最后可以算得，总共有3个符合正样本得分高于负样本得分，故最后的AUC为 1 + 1 + 1 + 0 4 = 0.75 \frac{1+1+1+0}{4}=0.75 41+1+1+0=0.75。
在这个案例里，没有出现得分一致的情况，假如出现得分一致的时候，例如：

同样本是4个样本对，对于样本对（C,B）其I值为0.5。最后的AUC为 1 + 1 + 1 + 0.5 4 = 0.875 \frac{1+1+1+0.5}{4}=0.875 41+1+1+0.5=0.875。

方法二

这个公式看起来有点吓人，其实就是先对预测概率进行排序，然后对正样本的序号相加，减去后面的常数项，最后除以M*N。
r a n k i n s i rank_{ins_i} rankinsi：代表第i条样本的序号。（概率得分从小到大排，排在第rank个位置）。
∑ \sum ∑ 代表对属于正样本的序号加和。

同样的，我们用上面的例子。

将这个例子排序。按概率排序后得到：

按照上面的公式，只把正样本的序号加起来也就是只把样本C,D的rank值加起来后减去一个常数项 M ( M + 1 ) 2 \frac{M(M+1)}{2} 2M(M+1)，即 ( 4 + 2 ) − 2 ∗ ( 2 + 1 ) 2 2 ∗ 2 = 6 − 3 4 0.75 \frac{(4+2)-\frac{2*(2+1)}{2}}{2*2}=\frac{6-3}{4}0.75 2∗2(4+2)−22∗(2+1)=46−30.75。这个答案和我们上面所计算的是一样的。

这个时候，我们有个问题，假如出现得分一致的情况怎么办？下面举一个例子说明：

在这个例子中，我们有4个取值概率为0.5，而且既有正样本也有负样本的情况。计算的时候，其实原则就是相等得分的rank取平均值。具体来说如下：
先排序：

这里需要注意的是：相等概率得分的样本，无论正负，谁在前，谁在后无所谓。
由于只考虑正样本的rank值：
对于正样本A，其rank值为7
对于正样本B，其rank值为6
对于正样本E，其rank值为（5+4+3+2）/4
对于正样本F，其rank值为（5+4+3+2）/4
最后我们得到：