文章目录

1 分类
- 1.1 混淆矩阵
- - 1.1.1 准确率 Accuracy, ACC
  - 1.1.2 精确率或查准率 Precision, P
  - 1.2.3 召回率或查全率 Recall, R
  - 1.2.4 F1 测量值
- 1.3 AUC
- - 1.3.1 ROC 曲线
  - 1.3.2 为什么要使用ROC曲线和 AUC 评价分类器
2 回归
- 2.1 平均绝对误差
- 2.2 平均平方误差

1 分类

1.1 混淆矩阵

True Positive(真正, TP)：将正类预测为正类数.
True Negative(真负 , TN)：将负类预测为负类数.
False Positive(假正, FP)：将负类预测为正类数 → 误报 (Type I error).
False Negative(假负 , FN)：将正类预测为负类数 → 漏报 (Type II error).

关系如下表所示：

	预测值=1	预测值=0
真实值=1	TP	FN
真实值=0	FP	TN

1.1.1 准确率 Accuracy, ACC

ACC(Accuracy)=TP+TNTP+TN+FP+FNACC(Accuracy) = \frac{TP+TN}{TP+TN+FP+FN} ACC(Accuracy)=TP+TN+FP+FNTP+TN

注：在正负样本不平衡的情况下，准确率这个评价指标有很大的缺陷。比如在互联网广告里面，点击的数量是很少的，一般只有千分之几，如果用acc，即使全部预测成负类（不点击）acc 也有 99% 以上，没有意义

1.1.2 精确率或查准率 Precision, P

P=TPTP+FPP=\frac{TP}{TP+FP} P=TP+FPTP

注：精确率(precision)和准确率(accuracy)是不一样的

1.2.3 召回率或查全率 Recall, R

R=TPTP+FNR=\frac{TP}{TP+FN} R=TP+FNTP

1.2.4 F1 测量值

2F1=1P+1RF1=2TP2TP+FP+FN\frac{2}{F1} = \frac{1}{P} + \frac{1}{R} \\ F1 = \frac{2TP}{2TP + FP + FN} F12=P1+R1F1=2TP+FP+FN2TP

注： F1 是精确率和召回率的调和均值

1.3 AUC

AUC 是 ROC (Receiver Operating Characteristic) 曲线以下的面积, 介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。

1.3.1 ROC 曲线

这里不赘述ROC的一些细节，参考ROC和AUC介绍以及如何计算AUC

ROC曲线关注两个指标：
truepositiverate:TPR=TPTP+FNfalsepositiverate:FPN=FPFP+TNtrue~positive~rate: TPR = \frac{TP}{TP + FN}\\ false~positive~rate: FPN = \frac{FP}{FP + TN} true positive rate:TPR=TP+FNTPfalse positive rate:FPN=FP+TNFP

ROC 曲线如图(a)所示，横坐标是false positive rate, FPN, 纵坐标是true positive rate, TPR

横轴FPR:1−TNR1-TNR1−TNR, 1−Specificity1-Specificity1−Specificity，FPRFPRFPR越大，预测正类中实际负类越多。
纵轴TPR：SensitivitySensitivitySensitivity(正类覆盖率), TPRTPRTPR越大，预测正类中实际正类越多。
理想目标：TPR=1TPR=1TPR=1，FPR=0FPR=0FPR=0, 即图中(0,1)点，故ROC曲线越靠拢(0,1)点，越偏离45度对角线越好，SensitivitySensitivitySensitivity、SpecificitySpecificitySpecificity越大效果越好。

首先AUC值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。¹

简单说：AUC值越大的分类器，正确率越高² :

AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC=0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
AUC<0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测，因此不存在 AUC<0.5 的情况。

1.3.2 为什么要使用ROC曲线和 AUC 评价分类器

既然已经这么多标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变换的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现样本类不平衡，即正负样本比例差距较大，而且测试数据中的正负样本也可能随着时间变化。下图是ROC曲线和Presision-Recall曲线的对比³：

(a)和 (c)为Roc曲线，(b)和(d)为Precision-Recall曲线。
(a)和(b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，(c)(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果，可以明显的看出，ROC曲线基本保持原貌，而Precision-Recall曲线变化较大。

2 回归

2.1 平均绝对误差

平均绝对误差MAEMAEMAE (Mean Absolute Error) 又被称为 l1l1l1 范数损失(l1−normlossl1-norm~lossl1−norm loss)：
MAE(y,y^)=1n∑i=1n∣yi−yi^∣MAE(y,\hat{y}) = \frac{1}{n} \sum_{i=1}^{n}|y_i−\hat{y_i}| MAE(y,y^)=n1i=1∑n∣yi−yi^∣

2.2 平均平方误差

平均平方误差 MSEMSEMSE (Mean Squared Error) 又被称为 l2l2l2 范数损失(l2−normlossl2-norm~lossl2−norm loss)：
MSE(y,y^)=1n∑i=1n∥yi−yi^∥2MSE(y,\hat{y}) = \frac{1}{n} \sum_{i=1}^{n}\|y_i−\hat{y_i}\|^2 MSE(y,y^)=n1i=1∑n∥yi−yi^∥2

http://www.cnblogs.com/dlml/p/4403482.htm ↩︎
https://beader.me/2013/12/15/auc-roc/ ↩︎
http://alexkong.net/2013/06/introduction-to-auc-and-roc/ ↩︎

机器学习性能评价指标汇总相关推荐

机器学习算法——评价指标汇总
准确率,精确率,召回率和F1 准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure ROC-AUC ROC曲线需要提前说明的是,我们这里只讨论二 ...
机器学习性能评估指标汇总
机器学习性能评估指标汇总 Accuracy:准确率 Precision:精确率 / 查准率 Recall:召回率 / 查全率 F1 score:F1 值 PR:查准率.查全率曲线 ROC:真正率.假正 ...
当机器学习性能遭遇瓶颈时，如何优化？如何去尝试解决问题？
当机器学习性能遭遇瓶颈时,如何优化?如何去尝试解决问题? 第一,问题的界定有无问题: 第二,基于数据改善性能: 获取更多的数据.衍生或者创造更多的新的数据.数据是不是清洗的不够好.是不是数据的采样方式 ...
人脸识别性能评价指标
人脸识别常用的性能评价指标一.什么是F1-score F1分数(F1-score)是分类问题的一个衡量指标.一些多分类问题的机器学习竞赛,常常将F1-score作为最终测评的方法.它是精确率和召回率 ...
机器学习性能改善备忘单
原文地址:Machine Learning Performance Improvement Cheat Sheet 原文翻译与校对:@姜范波 && 寒小阳时间:2016年12月. ...
【深度学习中模型评价指标汇总（混淆矩阵、recall、precision、F1、AUC面积、ROC曲线、ErrorRate）】
深度学习中模型好坏的所有评价指标汇总(混淆矩阵.recall.precision.F1score.AUC面积.ROC曲线.ErrorRate) 导航 0.混淆矩阵 1.AUC面积 2.ROC曲线 3. ...
线性回归模型的性能评价指标
本节讨论下线性回归模型的性能评价指标对于机器学习的两个基本问题分类和回归的评价方式有所不同,分类问题一般通过分类准确率.召回率.F1值.ROC/AUC等手段进行模型的评估.对于回归问题,该如何评价? ...
机器学习常见术语汇总
A 准确率(accuracy) 分类模型预测准确的比例.在多类别分类中,准确率定义如下: 在二分类中,准确率定义为: 激活函数(Activation function) 一种函数(例如 ReLU 或 ...
机器学习分类器评价指标详解（Precision, Recall, PR, ROC, AUC等）（一）
为了系统性地理解机器学习模型的不同评价指标及其之间的关系,我们将从其定义出发,探究其物理含义及彼此之间的联系,并从数学上给出相应的公式推导,以方便后续用到时复习理解.由于篇幅较长,因此将其分为两篇,这 ...

机器学习性能评价指标汇总

文章目录

1 分类

1.1 混淆矩阵

1.1.1 准确率 Accuracy, ACC

1.1.2 精确率或查准率 Precision, P

1.2.3 召回率或查全率 Recall, R

1.2.4 F1 测量值

1.3 AUC

1.3.1 ROC 曲线

1.3.2 为什么要使用ROC曲线和 AUC 评价分类器

2 回归

2.1 平均绝对误差

2.2 平均平方误差

机器学习性能评价指标汇总相关推荐

最新文章

热门文章

机器学习性能评价指标汇总

文章目录

1 分类

1.1 混淆矩阵

1.1.1 准确率 Accuracy, ACC

1.1.2 精确率 或 查准率 Precision, P

1.2.3 召回率 或 查全率 Recall, R

1.2.4 F1 测量值

1.3 AUC

1.3.1 ROC 曲线

1.3.2 为什么要使用ROC曲线 和 AUC 评价分类器

2 回归

2.1 平均绝对误差

2.2 平均平方误差

机器学习性能评价指标汇总相关推荐

最新文章

热门文章

1.1.2 精确率或查准率 Precision, P

1.2.3 召回率或查全率 Recall, R

1.3.2 为什么要使用ROC曲线和 AUC 评价分类器