1. roc上的点，越靠近左上角越好。(tp rate is higher, fp rate  is lower,or both )
2. y = x这条对角线代表随机猜测的结果。比如用投掷硬币结果来猜测，点在(0.5, 0.5) ；假设硬币不均匀，90%概率向上，那就是(0.9, 0.9) （正例中，90%能猜对；反例中，90%猜错）
3. auc范围[0.5, 1]，小于0.5的分类器把结果取反一下把。
4. 分类器不一定要输出概率，输出可比较的score也行。
5. 画roc曲线的时候，threshold采样点是有限的离散化点，其实就用score，毕竟score是有限的。Any ROC  curve generated from a finite set of instances is actually a step function。画曲线需要两个值TP/P和FP/N。P和N可以先扫描一遍找出来，后面不会变的。把score排一下序，从高到底，依次作为threshold（>=threshold的我们预测为p，其他为n）。TP判断class为P的加一就行，FP判断class为N的也加一就行。变得很简单了。
   
   这里就有一个细节问题了，score相同的点怎么处理？
   
   论文里给出一个直观的图，先累加正样本和先累加负样本的差异（先加TP往上走，还是FP往右走）。结论就是score相同的样本一起算，不要一个样本就输出一个采样点。
6. auc的直观含义是任意取一个正样本和负样本，正样本得分大于负样本的概率。The  ROC curve shows the ability of the classifier to rank the positive instances relative to the negative instances, and it is indeed perfect in this ability.（想想这个组合问题的概率怎么求？对每一个负样本，把分数大于这个负样本的正样本个数累加起来，最后除以总的组合数P*N，前面算roc curve是不是也类似这样累加？除了P或者N先除了。还不确定看下面的代码实现，代码里为了平滑，求的是小梯形的面积，而不是矩形，稍微有些差别。）论文里举了个例子，auc算出来是1，但是可以发现预测结果不是完全对的（7和8就预测错了）。但实际上只是threshold选择得不好而已，threshold选0.7这里就行了。
   
7. 容忍样本倾斜的能力。ROC curves have an attractive property: they are insensitive to changes in class distribution. 看看公式TP/P 和FP/N本身就包含了归一化的思想（上面的表格每一行乘以常数C，TPR和FPR不变的），比如负样本*10的话 : FPR = (FP*10)/(N*10)，不变的。
   再看看precision和recall就不行了，因为一个表格里是竖行，一个是横行。
   precision=tp/(tp+fp),  recall=tp/(tp+fn)
   负样本*10的话 :
   precision=tp/(tp+fp*10),  recall=tp/(tp+fn)
   

#!/usr/local/bin/pythondef scoreAUC(labels,probs):i_sorted = sorted(range(len(probs)),key=lambda i: probs[i], reverse=True)auc_temp = 0.0TP = 0.0TP_pre = 0.0FP = 0.0FP_pre = 0.0P = 0;N = 0;last_prob = probs[i_sorted[0]] + 1.0for i in range(len(probs)):if last_prob != probs[i_sorted[i]]: auc_temp += (TP+TP_pre) * (FP-FP_pre) / 2.0        TP_pre = TPFP_pre = FPlast_prob = probs[i_sorted[i]]if labels[i_sorted[i]] == 1:TP = TP + 1else:FP = FP + 1auc_temp += (TP+TP_pre) * (FP-FP_pre) / 2.0auc = auc_temp / (TP * FP)return aucdef read_file(f_name):f = open(f_name)labels = []probs = []for line in f:line = line.strip().split()try:label = int(line[2])prob = float(line[3])except ValueError:# skip over headercontinuelabels.append(label)probs.append(prob)return (labels, probs)def main():import sysif len(sys.argv) != 2:print("Usage: python scoreKDD.py file")sys.exit(2)labels, probs = read_file(sys.argv[1])auc = scoreAUC(labels, probs)print("%f" % auc)
if __name__=="__main__":main()