文章目录

  • -
    • 衡量二分类问题的统计指标
      • 分类结果
      • 混淆矩阵
      • 准确率
      • 精确率
      • 召回率
      • F1评分
        • 推导过程
      • ROC曲线、AUC

-

衡量二分类问题的统计指标

分类结果

  二分类问题,分类结果有以下四种情况:

     - 真阴性(TN,True Negative),事实为阴性并预测为阴性。

     - 真阳性(TP,True Positive),事实为阳性并预测为阳性。

     - 假阴性(FN,False Negative),事实为阳性但预测为阴性。

     - 假阳性(FP,False Positive),事实为阴性但预测为阳性。

真实类别
1 Positive 0 Negative
预测类别 1 Positive True Positive 真阳性 False Positive 假阳性
0 Negative False Negative 假阴性 True Negative 真阴性

混淆矩阵

  混淆矩阵(Confusion Matrix)是将四种情况各自预测结果的计数,以矩阵形式表示出来。

(TNFPFNTP)\begin{pmatrix} TN & FP \\ FN & TP \end{pmatrix} (TNFN​FPTP​)

准确率

  准确率(Accuracy)是指所有预测中预测准确的比例:

Accuracy=TP+TNTP+TN+FP+FNAccuracy = {TP + TN \over TP + TN + FP + FN} Accuracy=TP+TN+FP+FNTP+TN​

精确率

  精确度(Precision)是指正确预测阳性占所有预测为阳性的比例:

Precision=TPTP+FPPrecision = {TP \over TP + FP} Precision=TP+FPTP​

召回率

  召回率(Recall)是指正确预测的阳性占所有事实是阳性的比例:

Recall=TPTP+FNRecall = {TP \over TP + FN} Recall=TP+FNTP​

F1评分

  F1分数(F1 Score),是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种调和平均,它的最大值是1,最小值是0。

F1=2Recall∗PrecisionRecall+Precision=2TP2TP+FN+FPF1 = 2{ Recall * Precision \over Recall + Precision} = { 2TP \over 2TP + FN + FP } F1=2Recall+PrecisionRecall∗Precision​=2TP+FN+FP2TP​

推导过程

F1=2Recall∗PrecisionRecall+Precision=2TPTP+FN∗TPTP+FPTPTP+FN+TPTP+FP=2∗TP2(TP+FN)(TP+FP)TP2+TP∗FP+TP2+TP∗FN(TP+FN)(TP+FP)=2∗TP22TP2+TP∗FP+TP∗FN=2TP2TP+FN+FPF1 = 2{ Recall * Precision \over Recall + Precision} \\ = 2{ {TP \over TP + FN} * {TP \over TP + FP} \over {TP \over TP + FN} + {TP \over TP + FP} } \\ = 2 * { {TP^2 \over (TP + FN)(TP + FP)} \over {TP^2 + TP*FP + TP^2 + TP*FN \over (TP + FN)(TP + FP)} } \\ = 2 * { TP^2 \over 2TP^2 + TP*FP + TP*FN } \\ = { 2TP \over 2TP + FN + FP } F1=2Recall+PrecisionRecall∗Precision​=2TP+FNTP​+TP+FPTP​TP+FNTP​∗TP+FPTP​​=2∗(TP+FN)(TP+FP)TP2+TP∗FP+TP2+TP∗FN​(TP+FN)(TP+FP)TP2​​=2∗2TP2+TP∗FP+TP∗FNTP2​=2TP+FN+FP2TP​

ROC曲线、AUC

  ROC曲线(Receiver Operating Characteristic Curve)显示了分类模型在所有分类阈值下的性能,它描绘了真阳性率(Y轴)和假阳性率(X轴的关系)。

  ROC曲线越“陡峭”,越接近理想结果:最大化真阳性率和最小化假阳性率。即图中左上角是“理想”点-假阳性率为0,真阳性率为1。

  ROC曲线下的面积(Area Under the Roc Curve,AUC)计算从(0,0)到(1,1)的整个ROC曲线下的二维区域的面积,AUC越大越好。

衡量二分类模型的统计指标(TN,TP,FN,FP,F1,准确,精确,召回,ROC,AUC)相关推荐

  1. [机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC

    一 为什么要评估模型? 一句话,想找到最有效的模型.模型的应用是循环迭代的过程,只有通过持续调整和调优才能适应在线数据和业务目标. 选定模型时一开始都是假设数据的分布是一定的,然而数据的分布会随着时间 ...

  2. TP FN FP TN

    Rachel-Zhang写的TP FN FP TN ROC True Positive (真正, TP)被模型预测为正的正样本:可以称作判断为真的正确率 True Negative(真负 , TN)被 ...

  3. AI:神经网络IMDB电影评论二分类模型训练和评估

    AI:Keras神经网络IMDB电影评论二分类模型训练和评估,python import keras from keras.layers import Dense from keras import ...

  4. 【Kay】机器学习——二分类模型的评价

    一.评价二分类模型的好坏 二分类问题:预测这条数据是0还是1的问题 1.混淆矩阵 数字代表个数 2.准确率.精确率.召回率 ①准确率: ②精确率(查准率): ③召回率(查全率recall) :   ④ ...

  5. 分类模型-评估指标(2):ROC曲线、 AUC值(ROC曲线下的面积)【只能用于二分类模型的评价】【不受类别数量不平衡的影响;不受阈值取值的影响】【AUC的计算方式:统计所有正负样本对中的正序对】

    评价二值分类器的指标很多,比如precision.recall.F1 score.P-R曲线等.但这些指标或多或少只能反映模型在某一方面的性能.相比而言,ROC曲线则有很多优点,经常作为评估二值分类器 ...

  6. RDKit | 基于随机森林的化合物活性二分类模型

    基于随机森林算法的化合物二分类机器学习模型 代码示例 #导入依赖包 import pandas as pd import numpy as np from rdkit import Chem, Dat ...

  7. 深度学习框架tensorflow二实战(训练一个简单二分类模型)

    导入工具包 import os import warnings warnings.filterwarnings("ignore") import tensorflow as tf ...

  8. pytorch实现二分类模型

    使用的数据集是iris 一共150行数据, 三种花各有50行数据, 这里取了前100行, 选两种花进行二分类. 数据集地址:https://github.com/hydra-ZD/AI/blob/ma ...

  9. 混淆矩阵(TP+FN+FP+TN)

    1.定义 混淆矩阵就是分别统计分类模型归错类,归对类的观测值个数,然后把结果放在一个表里展示出来.这个表就是混淆矩阵.混淆矩阵其实就是一张表格而已. 以分类模型中最简单的二分类为例,对于这种问题,我们 ...

最新文章

  1. [代码]--WinForm 窗体之间相互嵌套
  2. Struts2--ActionContext及CleanUP Filter
  3. 田志刚:所有大公司都是小公司(二)
  4. boost库之tcp server(异步)
  5. 如何在 ASP.NET Core 中为同一接口配置不同的实现
  6. 对编写的代码进行单元测试_编写数据访问代码测试–单元测试是浪费
  7. java canvas 画图片_canvas画布——画八卦图
  8. 04737 c++ 自学考试2019版 第六章课后练习 程序设计题 1
  9. pg数据库 设置不区分大小写_pg数据库表名、字段名大小写问题
  10. Android开发笔记(八十七)几个修饰关键字
  11. SpringBoot 整合swagger3.X
  12. 如何用递归处理一个数组中的数据成为一个树结构_Spark处理的一些业务场景(持续更新ing)...
  13. OpenGL纹理贴图流程
  14. Linux系统中cgroup功能介绍
  15. android 手机锁 无服务器,安卓手机锁屏密码忘记了怎么办?adb解锁图文教程
  16. uniapp 无法获取动态dom节点,解决方案
  17. 台式机dp接口_了解笔记本电脑的各种视频接口
  18. linux5关闭apic服务,Linux中断 - APIC
  19. 2023年电工杯数学建模竞赛AB题思路代码论文资料汇总贴
  20. (一) asp.net WebUploader 上传

热门文章

  1. 修改dns访问android.com
  2. 项目经理工具之PDMReader(pdm)
  3. 怀酒聚焦“五大市场举措”,贵州老名酒加速复兴
  4. 跑步用什么蓝牙耳机好?2022跑步运动蓝牙耳机推荐
  5. 2021 安卓逆向学习思路
  6. 9.程序的并行与并发
  7. 如何才能让自己更有魅力
  8. selenium3 + python - gird分布式(转载)
  9. 详细说说3D眼镜的分类以及特点
  10. trello 开源_Trello的5种开源替代品