Machine Learning A-Z学习笔记12-分类模型性能评级及选择

2024-05-15 04:42:16

Machine Learning A-Z学习笔记12-分类模型性能评级及选择

1.简单原理

一般认为假阴性比假阳性更严重，如核酸检测

用混淆矩阵表示如下图

准确率驳论(Accuracy Paradox)。我们可以看到上述例子，我们拟合后发现准确率达98%，但是可以如果让模型一律回答0的話，准确率可以提升到98.5%。可以看出混淆矩阵对这种情况并不适用。

累积准确性（cumulative accuracy profile，CAP），一个比混淆矩阵更客观判定分类模型优劣的指标

CAP曲线(Cumulative Accuracy Profile)/Power Curve(准确率/AR)是描述整个评级结果下，购买客户比例与累计客户比例的关系。

在完美的模型下，CAP曲线是一条斜率为1/购买率的直线。而且上升并停留在1，反之，在完全没有区分能力的情况下，模型的CAP曲线是一条45度的直线，而AR值的定义为：模型CAP曲线与45度曲线之间的区域，与介于45度线和完美模型的区域比率

當然還有一個曲線叫做水晶球(Crystal Ball)，我們可以發現當我們拜訪10%的客戶(1萬)時，我們的業績就已經達標了.

注意： ROC的全称是“受试者工作特征”（Receiver Operating Characteristic）曲线，首先是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军载具（飞机、船舰），也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。此后被引入机器学习领域，用来评判分类、检测结果的好坏。与CAP不同。

我们先计算理想曲线与蓝线之间的面积aP

然后计算红线与蓝线之间的面积aR

然後我們可以得到準確率AR，其值正常是落在0~1之間，一些标准的判断如下。

Machine Learning A-Z学习笔记12-分类模型性能评级及选择相关推荐

原创 | 斯坦福Machine Learning with Graphs 学习笔记(第一讲）
作者:林夕本文长度为2900字,建议阅读9分钟本文为大家介绍图网络的基本概念.网络的应用以及图的结构. 标签:机器学习目录一.Why Networks 二.网络的应用 2.1 应用领域 ...
决策树（chap3）Machine Learning In Action学习笔记
优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据. 缺点:可能会产生过度匹配问题. 适用数据类型:数值型(必须离散化)和标称型. 决策树创建分支的伪代码函数crea ...
原创 | 斯坦福Machine Learning with Graphs 学习笔记(第二讲）
作者:于媛,十三鸣本文长度为3300字,建议阅读10+分钟本文为大家介绍常用的网络属性和经典的网络模型. 标签:机器学习 [ 导读 ]在研究网络的时候,我们往往需要从结构层面对网络进行分析,网络属 ...
Three.js入门学习笔记12：模型沿着任意轨迹线运动
参考学习 http://www.yanhuangxueyuan.com/doc/Three.js/curveRun.html http://www.yanhuangxueyuan.com/doc/th ...
台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep?
台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep? 本博客整理自: http://blog.csdn.net/xzy_thu/article/detail ...
Machine Learning in Action 读书笔记---第4章基于概率论的分类方法：朴素贝叶斯
Machine Learning in Action 读书笔记第4章基于概率论的分类方法:朴素贝叶斯文章目录 Machine Learning in Action 读书笔记一.基于贝叶斯决策理 ...
Machine Learning in Action 读书笔记---第5章 Logistic回归
Machine Learning in Action 读书笔记第5章 Logistic回归文章目录 Machine Learning in Action 读书笔记一.Logistic回归 1.L ...
Machine Learning in Action 读书笔记---第3章决策树
Machine Learning in Action 读书笔记第3章决策树文章目录 Machine Learning in Action 读书笔记一.决策树算法简介 1 决策树的构造 2 决策 ...
影像组学视频学习笔记(12)-支持向量机(SVM)参数优化(代码)、Li‘s have a solution and plan.
本笔记来源于B站Up主: 有Li 的影像组学系列教学视频本节(12)主要介绍: SVM参数优化(代码) 参数优化: 自动寻找最合适的γ和C组合. 原理:遍历所有给定的参数组合,对数据进行训练,找到最 ...

最新文章

热门文章