机器学习——算法常用评价指标

一、常用评价指标
二、案例

一、常用评价指标

参考书籍：《机器学习》——周志华

错误率： 分类错误的样本数占样本总数的比例
精度： 分类正确的样本数占样本总数的比例， 错误率+精度=1
查准率（precision）： 算法挑出来的样本中有多少比例是正样本
查全率（recall）： 所有的正样本中有多少比例被算法挑了出来

查准率与查全率是一对矛盾的度量。一般来说，查准率高，查全率就低；查全率高，查准率就高。
而在实际的模型评估中，单用查准率或者查全率来评价模型是不完整的，评价模型时必须用查准率/查全率两个值。一般有三种使用方法：平衡点（Break-Even
Point，BEP）、F1度量、F1度量的一般化形式。
这里只介绍F1度量：F1是基于查准率与查全率的调和平均定义的

显然F1越大越好

以《机器学习》西瓜问题为例

TP： 正确地标记为正，即算法预测它为好西瓜，这个西瓜真实情况也是好西瓜（双重肯定是肯定）；
FP： 错误地标记为正，即算法预测它是好西瓜，但这个西瓜真实情况是坏西瓜；
FN： 错误地标记为负，即算法预测为坏西瓜，（F算法预测的不对）但这个西瓜真实情况是好西瓜（双重否定也是肯定）；
TN： 正确地标记为负，即算法标记为坏西瓜，（T算法预测的正确）这个西瓜真实情况是坏西瓜。

西瓜总数：TP+FP+FN+TN
错误率：(FP+FN)/(TP+FP+FN+TN)
精度：(TP+TN)/(TP+FP+FN+TN)
查准率：TP/(TP+FP)
查全率：TP/(TP+FN)

二、案例

题目：
假设运用两套算法测试：从学生宿舍区一段监控视频中识别男生的人数。

实验结果如下：

1）算法1的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；

2）算法2的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；

3）经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。

请问算法1和算法2的“查准率”“查全率”“F1-score”等分别是多少？你认为哪个更优秀？

答案：
算法1查准率：78/82，查全率：78/80，F1：156/162
算法1查准率：80/88，查全率：80/80，F1：160/168
156/162 > 160/168
所以算法1更好

机器学习——算法常用评价指标相关推荐

机器学习分类算法常用评价指标
目录 1.准确率,召回率,精确率,F1-score,Fβ,ROC曲线,AUC值 2.宏平均(Macro-averaging)和微平均(Micro-averaging) 3.Python3 sklea ...
机器学习算法常用指标总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达机器学习性能评价标准是模型优化的前提,在设计机器学习算法过程中,不 ...
预测评价系统_「机器学习」一文读懂分类算法常用评价指标
前言评价指标是针对将相同的数据,输入不同的算法模型,或者输入不同参数的同一种算法模型,而给出这个算法或者参数好坏的定量指标. 在模型评估过程中,往往需要使用多种不同的指标进行评估,在诸多的评价指标中 ...
搞懂机器学习的常用评价指标！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:陈安东,湖南大学,Datawhale成员我与评价指标的首次交锋是 ...
【机器学习】搞懂机器学习的常用评价指标！
作者:陈安东,湖南大学,Datawhale成员我与评价指标的首次交锋是第一次实习面试时,面试官开头就问分类任务的评价指标.我当时TP,FP,FN,TN各种组合一顿上,回答得乱七八糟.后来经历多了,发 ...
机器学习模型常用评价指标（Accuracy, Precision, Recall、F1-score、MSE、RMSE、MAE、R方）
前言众所周知,机器学习分类模型常用评价指标有Accuracy, Precision, Recall和F1-score,而回归模型最常用指标有MAE和RMSE.但是我们真正了解这些评价指标的意义吗? ...
推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
1 混淆矩阵 TP(true positive):表示样本的真实类别为正,最后预测得到的结果也为正: FP(false positive):表示样本的真实类别为负,最后预测得到的结果却为正: FN(f ...
机器学习算法评价指标 recall（召回率）、precision（精度）、F-measure（F值）、ROC曲线、RP曲线
机器学习中算法评价指标总结 recall(召回率).precision(精度).F-measure.ROC曲线.RP曲线在机器学习.数据挖掘.推荐系统完成建模之后,需要对模型的效果做评价. 业内目前 ...
【机器学习算法专题（蓄力计划）】一、机器学习简史和常用算法的梳理
文章目录机器学习简史二十世纪五十年代:推理期二十世纪七十年代中期:知识期二十世纪八十年代:从样例中学习符号主义学习连接主义学习二十世纪九十年代中期:统计学习二十一世纪:深度学习机器学 ...

机器学习——算法常用评价指标

机器学习——算法常用评价指标

一、常用评价指标

二、案例

机器学习——算法常用评价指标相关推荐

最新文章

热门文章