Machine Learning入门笔记(二) 模型评估与选择 (2)

2.3 性能度量

前文已学习了如何划分Data set 以进行训练学习并测试，但光光这样是不够的，我们还需要确切可计算的参数来对一个模型，训练成果进行评估。this is performance measure.

2.3.0 均方误差

均方误差(mean squared error)

在回归任务中，这是一种最为常用的度量。训练目标是企图使均方误差最小化。(它象征着点与点之间的距离是二次项)

而这种使均方误差最小化来建立模型的方法被称为最小二乘法(least square method)

后文介绍分类任务的衡量指标。

2.3.1 错误率与精度

分类错误数占样本总数的比例。 ACC=1-E

错误率定义： G(k)为指示函数 if k: k=1 else: k=0

更一般的，对于数据分布D和概密函数p(·) 错误率定义为

2.3.2 查准、查全与F1

很多时候仅仅知道多少分错了这一信息是不够用的。以挑西瓜为例更仔细的我们想知道被挑出来的好瓜，有多少个是真正的好瓜？有多少坏瓜没被挑出来？

针对个体样本，设现实情况为真true/假false; 而预测结果为 positive正例/negative反例

这样划分我们得到了如下二分类混淆矩阵

查准率(precision)的定义为：所有pick出的正例中，选出真的比例

查全率(recall)的定义为：全体真样本中，有多少被当做正例选出来了？

P、R是一对矛盾的度量。比如希望提高R: 希望挑出所有好瓜-->放宽好瓜约束-->的确选出很多好瓜,但也会pick出坏瓜-->P降低。反之亦然。。同时提高P、R仅仅可能出现在某些十分简单的case中

以R为x，P为y轴可画出P-R图。若学习器A的P-R曲线完全包住学习器B的曲线，则表示A是性能更优越的学习器

但是每次通过积分计算P-R曲线的所围面积并不方便。人们因此引入其他度量。

平衡点(Break-Even Point): 在P-R图取P=R(x=y)，与学习器的学习曲线的交点，即为平衡点 BEP大则学习能力强

更常用的为度量F1：

应用中，P、R重要度往往不同，引入系数β( β>0)

β<1 查准率P更重要; β=1退化成标准F1； β>1查全率R更重要

当我们重复进行多次训练时，会得出多个二分类矩阵，那怎么确定该P、R呢？

针对每个矩阵求出各自P、R 再求均值，此法为宏得到macro-P、macro-R、macro-F1

而针对所有矩阵的TP、TN、FP、FN 先求出这四个指标的均值得均值矩阵再以此求出P、R此法为微得micro-P、R

2.3.3 ROC与AUC

存在很多学习器学习并预测值h 将之与阈值th比较。 h>th 归正类；h<th 归反类。这个预测值h的好坏就决定了泛化性能的好坏。我们将测试样本排序：最可能是正例的排前列，最不可能是正例的排最后。以此，从中选一个截断点，之前为正类，之后为反类。ROC曲线是以这种角度出发的研究有力工具。

ROC(Receiver Operating Characteristic)全称是“受试者工作特征”曲线。

真正例率(True Positive Rate): (所以成功预测的case中，包含多少正例？)

假正例率(False Positive Rate): (所有预测失败的case中，包含多少本假作真？)

以FPR为横，TPR为纵轴，生成ROC曲线。ROC曲线下围面积被记作AUC(Area Under ROC Curve)

通过比较AUC大小来衡量学习性能

2.3.4 代价敏感错误率和代价曲线

unequal cost: FP、FN 两部分同为学习器的犯错，但其权重明显不同(人没病判成有病会吃无用的要，而病人未被诊断出病则危及性命) 因此更新一下二分类矩阵,设置FN(假反例)权重为cost_01, FP(假正例)权重为cost_10

在这种非均等代价的情况下，我们希望总体代价越小越好。

以正例概率代价为横轴，归一化代价取值[0,1] 为纵轴生成代价曲线，p为样例正例概率

正例概率代价：

归一化代价：

ROC曲线上每一个点对应代价平面上的一条线段，各线段和横轴围城的面积，即为期望总体代价

Machine Learning入门笔记(二) 模型评估与选择 (2)相关推荐

机器学习笔记(二)模型评估与选择
2.模型评估与选择 2.1经验误差和过拟合不同学习算法及其不同参数产生的不同模型,涉及到模型选择的问题,关系到两个指标性,就是经验误差和过拟合. 1)经验误差错误率(errorrate):分类错误 ...
机器学习（学习笔记）二模型评估与选择(上）
模型评估与选择(上) 先画思维导图一.经验误差与过拟合误差:模型对样本的预测结果和样本的真实输出的差异称为误差.给定一个数据集,将其分割为训练集和测试集训练误差 (Training Error ...
西瓜书笔记之模型评估与选择
讲真,这书是越看觉得自己不会的越多,感觉好多概念,完全不是理工男喜欢的样子.. 首先了解一下NP问题,机器学习面临的问题多是NP完全问题(NP-C问题),号称世界七大数学难题之一. NP的英文全称是N ...
西瓜书~至臻笔记（二）——模型评估与选择（可直接享用）
文章目录第二章模型评估与选择 2.1 经验误差与过拟合 2.2 评估方法 2.2.1 留出法分层采样数据集中样本的顺序数据集的大小比例 2.2.2 交叉验证法数据集的样本顺序留一法 2. ...
西瓜书学习笔记第2章（模型评估与选择）
西瓜书学习笔记第2章(模型评估与选择) 2.1经验误差与过拟合 2.2评估方法 2.2.1留出法(hold-out) 2.2.2交叉验证法(cross validation) 2.2.3自助法(boo ...
小吴的《机器学习周志华》学习笔记第二章模型评估与选择
小吴的<机器学习周志华>学习笔记第二章模型评估与选择上一周我们介绍了第一章的基础概念,这一次将带来第二章的前三节.后面的2.4 比较检验与2.5 偏差与方差,涉及概率论与数理统计概 ...
MySql入门笔记二~悲催的用户
这些是当年小弟的MySql学习笔记,木有多么复杂的结构操作,木有多炫丽的语句开发,木有...总之就是木有什么技术含量... 日复一日,彪悍的人生伴随着彪悍的健忘,运维操作为王,好记性不如烂笔头,山水有 ...
《机器学习》 —— 第二章：模型评估与选择学习笔记
2.1 经验误差与过拟合把分类错误的样本数占样本总数的比例称为"错误率"(error rate),即如果在m个样本中有a个样本分类错误,则错误率E=a/m:相应的,1-a/m称为 ...
机器学习（周志华）- 第2章模型评估与选择笔记
转自: https://samanthachen.github.io/2016/08/03/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0_%E5%91%A8%E5%BF%9 ...

Machine Learning入门笔记(二) 模型评估与选择 (2)

Machine Learning入门笔记(二) 模型评估与选择 (2)相关推荐

最新文章

热门文章