3个最常用的分类模型评估指标！
针对二元分类结果，常用的评估指标有如下三个：查准率（Precision）、查全率（Recall）以及F-score。这篇文章将讨论这些指标的含义、设计初衷以及局限性。
01 二元分类问题
在机器学习领域，我们常常会碰到二元分类问题。这是因为在现实中，我们常常面对一些二元选择，比如在休息时，决定是否一把吃鸡游戏。不仅如此，很多事情的结果也是二元的，比如表白时，是否被发好人卡。
当然，在实际中还存在一些结果是多元的情况，比如从红、黄、蓝三种颜色中，选择一个，而这些多元情况对应着机器学习里的多元分类问题。对于多元分类问题，在实际的处理过程中常将它们转换为多个二元分类问题解决，比如图1所示的例子。
图1
那么自然地，一个多元分类结果可以分解为多个二元分类结果来进行评估。这就是为什么我们只讨论二元分类结果的评估。为了更加严谨的表述，我们使用变量
来表示真实的结果，
表示预测的结果。其中
表示正面的结果（在实际应用中更加关心的类别），比如妹子接受表白，而
表示负面的结果，比如妹子拒绝表白。
02 查准率与查全率
在讨论查准查全的数学公式之前，我们先来探讨：针对二元分类问题，应该如何正确评估一份预测结果的效果。
沿用上面的数学记号。如图2所示，图中标记为1的方块表示
，但
的数据；标记为3的凹型方块表示
，但
的数据；标记为2的方块表示
，且
的数据。而且这些图形的面积与对应数据的数据量成正比，比如，
，且
的数据个数越多，标记2的面积越大。
很容易发现，图中标记为2的部分表示模型预测结果正确，而标记为1和3的部分则表示模型预测结果错误。
- 对于一份预测结果，一方面希望它能做到“精确”：当时
，有很大概率，真实值
就等于1。这表现在图形上，就是标记2的面积很大，而标记3的面积很小。
- 另一方面也希望它能做到“全面”：对于几乎所有的
，对应的预测值
也等于1。在图形上，这表示标记2的面积很大，而标记1的面积很小。
于是，对应地定义查准率（precision）和查全率（recall）这两个技术指标（有的文献里，将查准率翻译为精确率；将查全率翻译为召回率）来评估一份预测结果的效果。比较直观的定义如图2所示。
图2
为了更加严谨，下面将从数学的角度给出这两个指标的严格定义。首先将数据按预测值和真实值分为4类，具体见表1。
表1
于是可以得到公式（1）：
公式（1）
经过进一步的推导，可以得到这两个技术指标的概率定义，如公式（2）。从概率上来讲：预测值等于1时，真实值等于1的概率为查准率；真实值等于1时，预测值等于1的概率为查全率。
理想的情况是这两个指标都很高，但现实往往是残酷的。这两个指标通常存在着此消彼长的现象。比如降低预测表白成功的标准（也就是增加
的数量），往往会提高它的查全率，但同时会降低它的查准率，反之依然。整个过程的直观图像如图3所示。
图3
03 F-score
既然这两个指标往往是成反比的，而且在很大程度上，受预测标准的控制。那么只拿其中的某一个指标去评估预测结果是不太合适的。比如在极端情况下，预测所有表白都成功，即。这时预测的查全率是100%，但查准率肯定很低，而且这样的预测显然是没太大价值的。
而两个指标同时使用，在实际应用时又不太方便。为了破解这个困局，在实践中，我们定义了新的指标去“综合”这两个指标。具体的定义如公式（3），从数学上来看，它其实是查准率与查全率的调和平均数。对于二元分类问题，
综合考虑了预测结果的查准率和查全率，是一个比较好的评估指标。
其实从模型的角度来看，查准率与查全率的“相互矛盾”给了我们更多的调整空间。应用场景不同，我们对查准率和查全率的要求是不一样的。在有的场景中，关注的焦点是查全率。
例如对于网上购物的衣服推荐，电商平台关心的是那些对衣服感兴趣的客户，希望模型对这些客户的预测都正确；而那些对衣服不感兴趣的客户，即使模型结果有较大偏差，也是可以接受的。也就是说，电商平台重视查全率，但不太关心查准率。这时就可以调低模型的预测标准，通过牺牲查准率来保证查全率。
但在有的场景中，查准率才是重点。例如在实时竞价（RTB）广告行业，有3种参与者：需要在互联网上对产品做广告的商家，比如Nike；广告投放中介（DSP）；广告位提供者，比如新浪网。Nike将广告内容委托给广告投放中介A，A通过分析选定目标客户群。当目标客户访问新浪网时，A向新浪网购买广告位并将Nike广告推送给他。
如果该客户点击了Nike广告，Nike会向投放中介A支付相应费用。否则，全部费用由中介A承担。那么对于广告投放中介A，它希望投放的每条广告都会被点击，但不太关心是否每个对Nike感兴趣的客户都被推送了广告。换句话说，广告投放中介更关心查准率。于是可以通过调高模型的预测标准来提高查准率，当然这时会牺牲一部分查全率。
对于这些偏重某一特定指标的场景，可以如公式（4），相应地定义指标（其实是的一个特例）。当靠近0时，偏向查准率，而很大时，则偏向查全率，如图4所示。
图4
04 总结
查准率、查全率和F-score是最为常用的二元分类结果评估指标。其中查准率和查全率这两个指标都只侧重于预测结果的某一个方面，并不能较全面地评价分类结果。而F-score则是更加“上层”的评估指标，它建立在前面两个指标的基础上，综合地考虑了分类结果的精确性和全面性。
从上面的讨论可以看到，这三个指标针对的是某一份给定的分类结果。但对于大多数分类模型，它们往往能产生很多份分类结果，比如对于逻辑回归，调整预测阈值可以得到不同的分类结果。也就是说，这三个指标并不能“很全面”地评估模型本身的效果，需要引入新的评估指标。
本文分享自微信公众号 - 数据分析1480（lsxxx2011）
原文出处及转载信息见文内详细说明，如有侵权，请联系 yunjia_community@tencent.com 删除。
原始发表时间：2019-04-29
本文参与腾讯云自媒体分享计划，欢迎正在阅读的你也加入，一起分享。
3个最常用的分类模型评估指标！相关推荐
- R语言分类模型：逻辑回归模型LR、决策树DT、推理决策树CDT、随机森林RF、支持向量机SVM、Rattle可视化界面数据挖掘、分类模型评估指标（准确度、敏感度、特异度、PPV、NPV）
R语言分类模型:逻辑回归模型LR.决策树DT.推理决策树CDT.随机森林RF.支持向量机SVM.Rattle可视化界面数据挖掘.分类模型评估指标(准确度.敏感度.特异度.PPV.NPV) 目录
- R语言编写自定义函数计算分类模型评估指标：准确度、特异度、敏感度、PPV、NPV、数据数据为模型预测后的混淆矩阵、比较多个分类模型分类性能（逻辑回归、决策树、随机森林、支持向量机）
R语言编写自定义函数计算分类模型评估指标:准确度.特异度.敏感度.PPV.NPV.数据数据为模型预测后的混淆矩阵.比较多个分类模型分类性能(逻辑回归.决策树.随机森林.支持向量机) 目录
- 你真的了解分类模型评估指标都有哪些吗？【附Python代码实现】
大家早上好,本人姓吴,如果觉得文章写得还行的话也可以叫我吴老师.欢迎大家跟我一起走进数据分析的世界,一起学习! 感兴趣的朋友可以关注我或者我的数据分析专栏,里面有许多优质的文章跟大家分享哦. 必看前言 ...
- 关于分类模型评估指标的理解
准确度.精确率.召回率.F1值作为评估指标,经常用到评估模型的分类效率.准确度评估预测正确的比例,精确率评估预测正例的查准率,召回率评估真实正例的查全率,二分类问题比较好理解,面对多分类问题拆分成多个 ...
- multi-class分类模型评估指标的定义、原理及其Python实现
诸神缄默不语-个人CSDN博文目录 本文介绍multi-class分类任务中的模型评估指标及其使用Python的实现方式(包括使用sklearn进行实现,以及使用原生Python函数进行实现的操作). ...
- [机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC
一 为什么要评估模型? 一句话,想找到最有效的模型.模型的应用是循环迭代的过程,只有通过持续调整和调优才能适应在线数据和业务目标. 选定模型时一开始都是假设数据的分布是一定的,然而数据的分布会随着时间 ...
- 分类模型-评估指标（2）：ROC曲线、 AUC值（ROC曲线下的面积）【只能用于二分类模型的评价】【不受类别数量不平衡的影响；不受阈值取值的影响】【AUC的计算方式：统计所有正负样本对中的正序对】
评价二值分类器的指标很多,比如precision.recall.F1 score.P-R曲线等.但这些指标或多或少只能反映模型在某一方面的性能.相比而言,ROC曲线则有很多优点,经常作为评估二值分类器 ...
- Lesson 5.分类模型决策边界与模型评估指标
Lesson 5.分类模型决策边界与模型评估指标(上) 在逻辑回归的算法基础内容结束之后,我们还需要补充一些关于分类模型的基础知识,包括观察分类模型判别性能的决策边界基本的概念与实现方法,同时也包括对 ...
- 你知道这11个重要的机器学习模型评估指标吗?
介绍 建立机器学习模型的想法是基于一个建设性的反馈原则.你构建一个模型,从指标中获得反馈,进行改进,直到达到理想的精度为止.评估指标解释了模型的性能.评估指标的一个重要方面是它们区分模型结果的能力. ...
最新文章
- leetcode C++ 45. 跳跃游戏 II 给定一个非负整数数组，你最初位于数组的第一个位置。 数组中的每个元素代表你在该位置可以跳跃的最大长度。 你的目标是使用最少的跳跃次数到达数组的最后
- php el表达式,JSP EL表达式学习
- 《系统集成项目管理工程师》必背100个知识点-42项目成本管理的过程
- mysql异步查询 java_java 手写并发框架（一）异步查询转同步的 7 种实现方式
- c语言图片raw保存,求指导，如何用c语言实现读取*.raw格式图像
- QEMU KVM libvirt手册(4) – images
- 19.内在摄像机校准——内联函数 测验，结合外在和内在校准参数，编写相同方程的其他方法，相机参数_2
- web 前端必备学习指南-精华
- 计算机网络知识学习（核心：网络协议）-- 运输层
- 使用内存精简版caffe运行densenet
- mysql语句判断是否存在记录，没有则插入新纪录否则不执行
- 复合索引列顺序对性能的影响
- 中文近义词工具包：Synonyms
- 浅谈大比例尺数字地形图的缩编方法
- springboot借助sftp将文件上传到远端的nginx服务器中，然后将文件路径存进数据库
- 【2014/10/28】Python string类型
- js将图片/文件等资源保存(下载)到本地
- Proteus 中 Virtual Terminal无法自动弹出窗口的问题的解决
- MATLAB deconvwnr(维纳滤波)应用
- 修改elementui组件el-input样式