python机器学习分类模型评估

1、混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

2、准确率、精确率、召回率、F1-score

准确率：score = estimator.score(x_test, y_test) #比对预测值与真实值，判断正确的概率；
精确率 precision：预测结果为正例样本中真实为正例的比例；
召回率recall：真实为正例的样本中预测结果为正例的比例(查得全，对正样本的区分能力)；
F1-score：反应模型的稳健性。F1分数(F1-score)是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛，常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数，最大为1，最小为0。F1分数认为召回率和精确率同等重要，F2分数认为召回率的重要程度是精确率的2倍。

3、分类评估报告API

from sklearn.metrics import classification_report

classification_report(y_true,y_pred,labels=[],target_names=None) #返回精确率、召回率、F1-score

y_true：真实目标值
y_pred：估计器预测目标值
labels：指定类别对应的数字
target_names：目标类别名称

4、ROC曲线和AUC值(二分类评估)

TPR = TP /(TP+FN) :所有真实类别为1样本中，预测类别为1的比例
FPR = FP /(FP+TN) :所有真实类别为0样本中，预测类别为1的比例

ROC曲线:

ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5

AUC:样本不均匀的情况下衡量模型的好坏

AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
AUC的最小值为0.5，最大值为1，取值越高越好
AUC=1，完美分类器，采用这个预别模型时，不管设定什么阀值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5
AUC只能用来评价二分类
AUC非常适合评价样本不平衡中的分类器性能

5、AUC计算API

from sklearn.metrics import roc_auc_score
sklearn.metrics.roc_auc_score(y_true，y_predict)
- 计算ROC曲线面积，即AUC值
- y_true：每个样本的真实类别,通常用y_test,必须为0(反例),1(正例)标记
- y_predict：每个样本的预测值，通常y_predict = estimator.predict(x_test)

更多相关内容扫描下方二维码

扫码关注更多数据分析数据运营干货在此，随时学习！

python 两点曲线_python机器学习分类模型评估相关推荐

02_混淆矩阵、准确率（Accuracy）、精确率(Precision)、召回率(Recall)、F值(F-Measure) +Roc曲线和PR曲线+sklearn中分类模型评估API+ 自己补充整理
此博文参考: 关于ROC绘制参考博文: https://blog.csdn.net/u011630575/article/details/80250177 Python+ROC相关的博文: https ...
python编程：10种分类模型评估的方法及Python实现
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理想要学习Python?有问题得不到第一时间解决?来看看这里,满足你的需求,资料都已 ...
【大数据专业】机器学习分类模型评估和优化之交叉验证的多种方法
学习目标: 机器学习: 分类评估模型及优化之交叉验证交叉验证的三种基本方法: 1.将拆分与评价合并执行 sklearn.model_selection.cross_val_score 2.同时使用多 ...
python线性拟合模型_Python机器学习-线性回归模型篇
一.What机器学习是什么机器学习简单来说,是从数据中归纳出有用的规则,它是一种新的编程方式,它不需要人类来总结经验.输入逻辑,人类只需要把大量数据输入计算机,然后计算机就可以自动总结经验归纳逻辑, ...
python训练模型测试模型_python 机器学习中模型评估和调参
在做数据处理时,需要用到不同的手法,如特征标准化,主成分分析,等等会重复用到某些参数,sklearn中提供了管道,可以一次性的解决该问题先展示先通常的做法 import pandas as pd f ...
python 两点曲线_Python已经成为排名第一的编程语言！附带最新Python400集视频教学...
同样是学习编程语言,当然要选择目前业内最先进.最热门.将来应用最广泛.最有前景的编程语言.在2017年的编程语言排行榜中,Python排名第一. Python拥有海量的开发库,方便控制各种品牌硬件,快 ...
python 两点曲线_Python自学教程| 3万字详解每个重要知识点（内附视频）
本文目录: 什么是Python? Python的用途是什么? 如何安装Python? 为什么选择Python? R与Python 学习Python的最佳方法什么是顶级Python IDE 哪个是最适 ...
视频|分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现
最近我们被客户要求撰写关于分类模型的研究报告,包括一些图形和统计输出. 本文将帮助您回答以下问题: ROC曲线是什么? 曲线下的面积是多少? 二元分类的决策阈值是多少? 分类模型可接受的 AUC值是多 ...
Python分类模型评估
Python分类模型评估 1 声明本文的数据来自网络,部分代码也有所参照,这里做了注释和延伸,旨在技术交流,如有冒犯之处请联系博主及时处理. 2 分类模型评估简介对给给定的分类模型进行质量评估,常 ...

python 两点曲线_python机器学习分类模型评估