auc 和loss_AUC 理解

AUC(Area under curve)是机器学习常用的二分类评测手段，直接含义是ROC曲线下的面积, 对于二分类模型，还有很多其他评价指标，比如 logloss，accuracy，precision。如果你经常关注数据挖掘比赛，比如 kaggle，那你会发现 AUC 和 logloss 基本是最常见的模型评价指标。

从AUC 判断分类器(预测模型)优劣的标准：

AUC = 1，是完美分类器；

AUC = [0.85, 0.95], 效果很好；

AUC = [0.7, 0.85], 效果一般；

AUC = [0.5, 0.7], 效果较低，但用于预测股票已经很不错了；

AUC = 0.5，跟随机猜测一样(例：丢铜板)，模型没有预测价值；

AUC < 0.5，比随机猜测还差。

为什么 AUC 和 logloss 比 accuracy 更常用呢？

因为很多机器学习的模型对分类问题的预测结果都是概率，如果要计算 accuracy，需要先把概率转化成类别，这就需要手动设置一个阈值，如果对一个样本的预测概率高于这个预测，就把这个样本放进一个类别里面，低于这个阈值，放进另一个类别里面。

所以这个阈值很大程度上影响了 accuracy 的计算。使用 AUC 或者 logloss 可以避免把预测概率转换成类别。

如何计算

ROC曲线下面积：

横坐标正是 FPR (False Positive Rate)，纵坐标是 TPR (True Positive Rate)，计算公式：

(梯形面积计算：上底+下底的合 * 高 /2，例如上图中的某个i下对应的面积)

由此引出True Positive Rate(真阳率)、False Positive(伪阳率)两个概念：

TPRate的意义是所有真实类别为1的样本中，预测类别为1的比例。

FPRate的意义是所有真实类别为0的样本中，预测类别为1的比例。

auc 和loss_AUC 理解相关推荐

机器学习AUC指标的理解
机器学习AUC指标的理解 AUC在机器学习领域中是一种模型评估指标,是指模型ROC曲线下的面积.分类器效果月AUC值成正比.即当分类器的分类效果越好的时候,ROC曲线下面积越大,AUC越大. 其中,R ...
ROC曲线与AUC区域的理解与实践
Receiver Operating Characteristic Area Under the Curve (ROC and AUC). 如何向别人解释 ROC AUC 对评价机器学习算法的意义: ...
ROC和AUC指标的理解
ROC曲线的通俗理解 auc指标含义的理解
roc与auc曲线的理解
roc:专业术语称为"受试者工作特征"(Receiver Operating Characteristic)曲线:它是真正例与假正例比值:首先后面两字"正例"就 ...
AUC含义的通俗理解
AUC含义的通俗理解假设有一个分类器,并且该分类器可以得到将一个样本预测为正的概率,并将此概率称为这个样本的得分. 首先说一下AUC的含义:随机给定一个正样本和一个负样本,用一个分类器进行分类和预测 ...
auc到多少有意义_AUC及其理解
在互联网精准广告中,可以从多个角度来评估一个CTR模型的性能,但通常以AUC作为模型评估的最直接指标,直观上讲,AUC是从排序能力的角度来对模型进行评估.下面将详细解释AUC的含义及其计算方式, 2 ...
AUC / uAUC
AUC,具体计算方法这里不列了,这里主要说一下对AUC的一些理解,公式参见机器学习常见面试题目. 为什么AUC这么受欢迎呢? 首先是它反应的是模型的排序能力,它不关心具体的打分Score的绝对值,只关 ...
【杂纪】从ROC曲线到AUC值，再到Mann–Whitney U统计量
统计检验中的两类错误在进行假设检验时,分别提出原假设(Null Hypothesis)和备择假设(Alternative Hypothesis),检验结果可能出现的两类错误: 原假设实际上是正确的, ...
又是模型评估？到底怎么评估？『附 AUC 评估的三计算方法』
大家好,我是小一今天继续聊聊模型评估的事儿前面一节提到了模型评估指标中 ROC 的详细概念和四个常见的问题,以后在遇到 ROC 想必再也不会发懵了:聊聊模型评估的事儿,附 roc 常见的四个灵魂发 ...

auc 和loss_AUC 理解

auc 和loss_AUC 理解相关推荐

最新文章

热门文章