深度学习auc_深度学习-AUC/PR计算

1 AUC ：AUC 表示随机抽取一个正样本和一个负样本，分类器正确给出正样本的score高于负样本的概率，在所以标注样本中，正样本共T个，负样本共F 个，如果随机抽取一个正样本和负样本，共有T*F 个pair，其实如果有s个pair 的正负样本pair 满足于正样本的score 高于负样本(权重为1)，v个pair 正负样本score 相同(权重为0.5)，则AUC就等于(s+0.5v)/(T*F).

1 根据定义，由梯形法计算ROC 曲线下的面积，求auc

2 变量全部样本，对正负pair 的数目计数，求AUC。

3 从高到底依次将score 值作为阈值，当测试样本属于正样本的概率大于或等于这个threshold 时，我们认为它为正样本，否则为负样本，每次选取一个不同的threshold，就可以得到一组FPR和TPR，即ROC曲线上的一点，这样一来，我们一共得到了20组FPR和TPR的值，将它们画在ROC曲线。

2 PR 曲线

PR 曲线的横坐标是召回率，纵坐标是准确率，对于一个排序模型来说，其PR 曲线上的一个点代表：在某一个阈值下，模型将大于该阈值的结果判定为正样本，整条PR 曲线是通过将阈值从高到低移动而生成的。所以可以整体地比较在不同阈值下模型预测的水平。

但是有个问题是离线评测数据集的数据分布往往跟线上环境的数据集分布不同，比如你的离线数据集正负样本比例为1:1，线上样本比例1:100，这是PR 曲线就不适用了，需要ROC 曲线。

深度学习auc_深度学习-AUC/PR计算相关推荐

深度学习-AUC/PR计算
1 AUC :AUC 表示随机抽取一个正样本和一个负样本,分类器正确给出正样本的score高于负样本的概率,在所以标注样本中,正样本共T个,负样本共F 个,如果随机抽取一个正样本和负样本,共有T*F ...
如何绘制深度学习-目标检测评估指标P-R（precision-recall）曲线？如何计算AP（average-precision）？
参考文章:深度学习-目标检测评估指标P-R曲线.AP.mAP 文章目录 P-R曲线: AP计算: 下面通过具体例子说明. 首先用训练好的模型得到所有测试样本的confidence score,每一类( ...
【深度学习】——模型评估指标MAP计算实例计算
目录一.知识储备 1.IOU--交集面积与并集面积之比 2.混淆矩阵(TP.FP.FN.TN) 问题1:上面的TP等具体是如何计算得到的? 3.精度precision&召回率recall 二 ...
深度学习导论（6）误差计算
深度学习导论(6)误差计算一. 再谈误差计算二. 神经网络类型三. 模型的容量和泛化能力四. 过拟合与欠拟合 1. 过拟合(Overfitting) 2. 欠拟合(Underfitting) ...
【深度学习】深度学习中模型计算量(FLOPs)和参数量(Params)等的理解以及四种在python应用的计算方法总结
接下来要分别概述以下内容: 1 首先什么是参数量,什么是计算量 2 如何计算参数量,如何统计计算量 3 换算参数量,把他换算成我们常用的单位,比如:mb 4 对于各个经典网络,论述他们是计算量大还 ...
DAEMKL：基于多核学习的深度自动编码器预测miRNA与疾病的关联（IEEE Transactions on Neural Networks and Learning Systems）
DAEMKL:Predicting miRNA–Disease Associations Through Deep Autoencoder With Multiple Kernel Learning( ...
从深度学习到深度森林方法（Python）
作者 |泳鱼来源 |算法进阶一.深度森林的介绍目前深度神经网络(DNN)做得好的几乎都是涉及图像视频(CV).自然语言处理(NLP)等的任务,都是典型的数值建模任务(在表格数据tabular d ...
打破深度学习局限，强化学习、深度森林或是企业AI决策技术的“良药”
算法.算力和数据是人工智能时代的三驾马车,成为企业赋能人工智能的动力,但它们自身的特性也为企业和高校在研究和落地应用过程带来了重重挑战.比如,训练算法的成本高昂,数据从采集.处理到存储已面临瓶颈,目前 ...
B站上线！DeepMind加UCL强强联手推出深度学习与强化学习进阶课程（附视频）
新智元报道编辑:元子 [新智元导读]DeepMind和伦敦大学学院(University College London,UCL)合作,推出了一个系列的深度学习与强化学习精品进阶课程.该课程内 ...

深度学习auc_深度学习-AUC/PR计算

深度学习auc_深度学习-AUC/PR计算相关推荐

最新文章

热门文章