一、区分精确率、召回率和特异性、敏感性

在数据科学中，查看精确率和召回率来评估构建的模型是十分常见的。而在医学领域，通常使用特异性和敏感性来评估医学测试。这一点在兆观的论文、以及 xxx院的沟通过程中，也注意到这一点了~

这些指标有很大的相似之处，但也有些许区别，所以关键在于：不同的领域有不同的评价指标，在给出结果的时候，要考虑对方想要看的指标是什么？或者说，在对方的领域内，权威公认的测试指标是什么？

二、各个指标的定义

先给出一个混淆矩阵~

0. 准确率（Accuracy）

物理意义：在所有预测的样本中，有多少预测正确？

1. 精确率（Precision, 评价查准）

物理意义：在所有预测的正样本中，有多少的真的正样本？

2. 召回率（Recall, 评价查全）

物理意义：在所有的真实正样本中，有多少被预测成正样本？

3. 特异性（Specificity, 评价误诊）

物理意义：在所有的真实负样本中，有多少被预测成负样本？

4. 敏感性（Sensitivity, 评价漏诊）

物理意义：在所有的真实正样本中，有多少被预测成正样本？

可以看出，敏感性和召回率是一样的。

心得：工作中的睡眠呼吸异常检测只关注了精确率和召回率，而没有关注特异性和敏感性。换言之，忽略特异性的同时，没有太去关注对负样本的检测结果，因为精确率和召回率只关注对正样本的检测结果，而可能存在高精确率、高召回率但同时有低特异性的分类器，如下图：

（但可能影响有没那么大，因为我们实际应用的场景，负样本的个数远超正样本的个数，和这个分类器又不完全一样）

（参考：搞懂敏感性、特异性以及精确率和召回率的关系）

5. F1-score

物理意义：Precision 和 Recall 的调和平均数

（参考：模型评价(AUC，ROC曲线，ACC, 敏感性，特异性，精确度，召回率，PPV, NPV, F1)）

6. ROC曲线

ROC(Receiver Operation Characteristic) 又叫接受者操作特征曲线，物理意义：在特定的刺激条件下，以被试在不同判断标准下所得的虚报概率为横坐标，以击中概率为纵坐标，画得的各点的连线。

ROC曲线的横坐标为假正例率FPR，纵坐标为真正例率TPR。曲线距离左上角越近，表明分类器效果越好。

7. AUC

AUC(Area under roc curve)，物理意义：ROC曲线下的面积。AUC越大，分类器分类效果越好。

（参考：机器学习评价指标合辑(TP/FP/FN/TN/Precision/Recall/F1score/P-R曲线/ROC曲线/AUC)）

（参考：ROC曲线与AUC值）

【20210914】【机器/深度学习】模型评价指标：精确率、召回率、特异性、敏感性、F1-score、ROC曲线、AUC相关推荐

如何使用Keras和TensorFlow建立深度学习模型以预测员工留任率
The author selected Girls Who Code to receive a donation as part of the Write for DOnations program. ...
机器学习深度学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
增注:虽然当时看这篇文章的时候感觉很不错,但是还是写在前面,想要了解关于机器学习度量的几个尺度,建议大家直接看周志华老师的西瓜书的第2章:模型评估与选择,写的是真的很好!! 以下第一部分内容转载自:机 ...
【机器学习】模型评价指标中的召回率低的原因
1.样本标注时多数正样本被错误的标注为负样本,这样模型学到正例的能力变弱,这样正样本预测为负样本的同时,负样本的精度也会减少. 方法一:对错误的标注样本进行修正,观察结果,看是否有改变. 2.一般情况 ...
干货 | 深度学习模型超参数搜索实用指南
乾明整理编译自 FloydHub Blog 量子位报道 | 公众号 QbitAI 在文章开始之前,我想问你一个问题:你已经厌倦了小心翼翼地照看你的深度学习模型吗? 如果是的话,那你就来对地方了. ...
训练好的深度学习模型原来这样部署的！（干货满满，收藏慢慢看）
点击上方蓝字关注我们计算机视觉研究院专栏作者:Edison_G 当我们辛苦收集数据.数据清洗.搭建环境.训练模型.模型评估测试后,终于可以应用到具体场景,但是,突然发现不知道怎么调用自己的模型,更 ...
auc计算公式_图解机器学习的准确率、精准率、召回率、F1、ROC曲线、AUC曲线
机器学习模型需要有量化的评估指标来评估哪些模型的效果更好. 本文将用通俗易懂的方式讲解分类问题的混淆矩阵和各种评估指标的计算公式.将要给大家介绍的评估指标有:准确率.精准率.召回率.F1.ROC曲线. ...
机器如何“猜你喜欢”？深度学习模型在1688的应用实践
一.背景猜你喜欢是推荐领域极其经典的一个场景,在1688首页无线端猜你喜欢栏目日曝光约23w,其中约72%的用户会产生点击行为,人均点击约8次.在我们的场景中,这部分是一个相对较大的流量来源.我们算 ...
[面经整理] 机器/深度学习补充篇
文章目录 ~~~~~~~~传统图像处理~~~~~~~~ 介绍canny边缘检测算法 1. 图像降噪简单易懂的高斯滤波 2. 计算图像梯度图像梯度的基本原理 sobel算子 3.非极大值抑制NMS ...
[面经整理]（机器/深度学习篇）
文章目录 ~~~~~~~~~~~~ 机器学习 ~~~~~~~~~~~~ 特征工程为什么需要做特征归一化? 常用的归一化方法有哪些? transforms.Normalize()与transforms ...

【20210914】【机器/深度学习】模型评价指标：精确率、召回率、特异性、敏感性、F1-score、ROC曲线、AUC