机器学习误差计算及评估指标

2024-05-02 03:04:44

误差计算

线性回归

一般采用均方差（即标准差，方差的算术平方根）计算误差：

（更多方差知识见文末链接）

逻辑回归（分类中）

一般采用交叉熵：

特别的，二分类：

（原理见文末链接）

偏差与方差

期望：

方差：

噪声：

二分类误差评估

TP：True Positive （预测对为正例，说明实际为正例）
FP：False Positive（预测错为正例，说明实际为反例）
TN：True Negtive（预测对为反例，说明实际为反例）
FN：False Negtive （预测错为反例，说明实际为正例）

分类结果的混淆矩阵

以上四个定义是基础，Positive表示对样本作出的是正的判断，T表示判断正确，F表示判断错误（Negtive类似）。

精度Accaracy：预测正确的样本数 / 样本总数： $A=\frac{TP+TN}{TP+TN+FP+FN}$
查准率/准确率Precision：预测为正例的样本中真的是正例的比例： $P=\frac{TP}{TP+FP}$
查全率/召回率Recall：真实为正例的样本中正例所占比例： $R=\frac{TP}{TP+FN}$
查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。
$F_{1}=\frac{2\times P\times R}{P+R}$

P-R曲线

即准确率-召回率曲线

F1 = 2*P*R /（P+ R）
F1，是一个综合指标，是Precision和Recall的调和平均数，因为在一般情况下，Precision和Recall是两个互补关系的指标，鱼和熊掌不可兼得，顾通过F测度来综合进行评估。F1越大，分类器效果越好。

ROC曲线与AUC

ROC曲线：假正例率-真正例率。所围成面积为AUC。如果某个学习器的ROC曲线能完全包住另一个学习器，则该学习器性能更优。

聚类性能度量

聚类后，我们希望同一簇样本相似度高，不同簇间尽可能不同。

距离计算

（1）有序属性

（2）有序属性

距离度量

两种聚类性能度量指标

外部指标：将聚类结果与某个“参考模型”比较。如Jaccard系数、FM指数、Rand指数
内部指标：直接考察聚类结果。

外部指标

设数据集为，自己的聚类簇划分为，参考模型的簇划分为

定义 $\lambda$ 、 $\lambda ^{*}$ 分别为自己模型和参考模型对数据的划分类别，则将样本两两配对，定义：

Jaccard系数

，JC系数值范围在[0,1]；JC系数越大，聚类效果越好。

FM指数

，FM指数值范围在[0,1]；FM指数越大，聚类效果越好。

Rand指数

，Rand指数值范围在[0,1]；Rand指数越大，聚类效果越好。

内部指标

DBI指数

，DBI指数越小，聚类效果越好

DUNN指数

， DI指数越大，聚类效果越好

参考：

方差：https://blog.csdn.net/cqfdcw/article/details/78173839

交叉熵：https://blog.csdn.net/tsyccnh/article/details/79163834

机器学习误差计算及评估指标相关推荐

[机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC
一为什么要评估模型? 一句话,想找到最有效的模型.模型的应用是循环迭代的过程,只有通过持续调整和调优才能适应在线数据和业务目标. 选定模型时一开始都是假设数据的分布是一定的,然而数据的分布会随着时间 ...
ML之ME/LF：机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
ML之ME/LF:机器学习中的模型评估指标/损失函数(连续型/离散型)的简介.损失函数/代价函数/目标函数之间区别.案例应用之详细攻略目录损失函数的简介损失函数/代价函数/目标函数之间区别损失 ...
R语言计算F1评估指标实战：F1 score、使用R中caret包中的confusionMatrix（）函数为给定的logistic回归模型计算F1得分（和其他指标）
R语言计算F1评估指标实战:F1 score.使用R中caret包中的confusionMatrix()函数为给定的logistic回归模型计算F1得分(和其他指标) 目录
ML之ME/LF：机器学习中常见模型评估指标/损失函数(LiR损失、L1损失、L2损失、Logistic损失)求梯度/求导、案例应用之详细攻略
ML之ME/LF:机器学习中常见模型评估指标/损失函数(LiR损失.L1损失.L2损失.Logistic损失)求梯度/求导.案例应用之详细攻略目录常见损失函数求梯度案例 1.线性回归求梯度 2.L ...
ML之ME/LF：机器学习中回归预测模型评估指标(MSE/RMSE/MAE)简介、使用方法、代码实现、案例应用之详细攻略
ML之ME/LF:机器学习中回归预测模型评估指标(MSE/RMSE/MAE)简介.使用方法.代码实现.案例应用之详细攻略目录回归预测问题中评价指标简介 RMSE 标准差SD MSE函数
机器学习基础专题：评估指标
评估指标线下使用机器学习评估指标,线上使用的是业务指标.需要进行多轮模型迭代使两个指标变化趋势相同. 分类指标精确率和召回率用于二分类问题,结合混淆矩阵. 精确率 P = TPTP+FP\fra ...
2.机器学习复习笔记-各种评估指标
文章目录 TP FP TN FN 准确率(Accuracy) 精确率(Precision).召回率(Recall).PR曲线. F1 Score RMSE ROC PR曲线和ROC曲线对比余弦距离. ...
最新目标跟踪评估指标汇总
前段时间接触了一些目标跟踪的场景,本文主要汇总目标跟踪的常用评估指标,主要包括下面几类: 容易理解的概念:FP.FN.TP.id switch.ML.MT 更加综合的概念:MOTA.IDF1.MOTP ...
python多分类评估指标acc、f1、auc
支持向量机多分类模型,计算评估指标acc.f1.auc. from sklearn import datasets from sklearn.svm import SVC from sklearn i ...
机器学习模型评估指标总结！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:太子长琴,Datawhale优秀学习者本文对机器学习模型评估指标 ...

最新文章

热门文章