混淆矩阵

混淆矩阵又称误差矩阵，针对预测值和真实值之间的关系，我们可以将样本分为四个部分，分别是：真正例（True Positive，TP）：预测值和真实值都为1 假正例（False Positive，FP）：预测值为1，真实值为0 真负例（True Negative，TN）:预测值与真实值都为0 假负例（False Negative，FN）：预测值为0，真实值为1
假定一个实验有 P个positive实例，在某些条件下有 N 个negative实例。那么上面这四个输出可以用下面的偶然性表格（或混淆矩阵）来表示：

混淆矩阵的API

from sklearn.metrics import confusion_matrix
confusion_matrix = confusion_matrix(y_test, y_predict)

分类准确率 accuracy

所有样本中被预测正确的样本的比率分类模型总体判断的准确率(包括了所有class的总体准确率)准确率的API:

from sklearn.metrics import accuracy
accuracy = accuracy_score(y_test, y_predict)

精确率Precision

预测为正类0的准确率:Precision=TP / ( TP + FP )

from sklearn.metrics import precision_score
precision = precision_score(y_test, y_predict)

召回率 recall

真实为0的准确率:

真实为1的准确率:Recall = TN/(TN+FP)
召回率API：

from sklearn.metrics import recall_score
recall = recall_score(y_test, y_predict)

recall得到的是一个list，是每一类的召回率。

F1值

F1值用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的准确率和召回率。F1分数可以看作是模型准确率和召回率的一种加权平均，它的最大值是1，最小值是0。
F1=2*（Precision* recall/Precision+recall）

from sklearn.metric simport f1_score
f1_score(y_test, y_predict)

Roc曲线、AUC

TPR FPR样本中的真实正例类别总数即TP+FN
TPR即True Positive Rate，TPR = TP/(TP+FN)。
TPR：真实的正例0中，被预测为正例的比例
样本中的真实反例类别总数为FP+TN
FPR即False Positive Rate，FPR=FP/(TN+FP)。
FPR：真实的反例1中，被预测为正例的比例
**理想分类器：**TPR=1，FPR=0
截断点thresholds： 机器学习算法对test样本进行预测后，可以输出各test样本对某个类别的相似度概率。比如t1是P类别的概率为0.3，一般我们认为概率低于0.5，t1就属于类别N。这里的0.5，就是”截断点”。

ROC曲线ROC曲线越接近左上角，代表模型越好，即ACU接近1
利用ROC的其他评估标准AUC(area under thecurve)，也就是ROC曲线的下夹面积，越大说明分类器越好，较大值是1。

Sklearn.metrics评估方法相关推荐

sklearn.metrics中的评估方法介绍（accuracy_score, recall_score, roc_curve, roc_auc_score, confusion_matrix）
accuracy_score 分类准确率分数是指所有分类正确的百分比.分类准确率这一衡量分类器的标准比较容易理解,但是它不能告诉你响应值的潜在分布,并且它也不能告诉你分类器犯错的类型. 形式: skl ...
不平衡多分类问题模型评估指标探讨与sklearn.metrics实践
我们在用机器学习.深度学习建模.训练模型过程中,需要对我们模型进行评估.评价,并依据评估结果决策下一步工作策略,常用的评估指标有准确率.精准率.召回率.F1分数.ROC.AUC.MAE.MSE等等,本 ...
sequential模型编译时的指标设置：sklearn.metrics:指标
sklearn.metrics: Metrics 官网是最好的学习区. See the Model evaluation: quantifying the quality of predictions ...
报错整理：ImportError: cannot import name ‘mean_absolute_percentage_error‘ from ‘sklearn.metrics‘
1 问题描述使用 from sklearn.metrics import mean_absolute_percentage_error y_true = [3, -0.5, 2, 7] y_pred ...
ML之sklearn：sklearn.metrics中常用的函数参数(比如confusion_matrix等 )解释及其用法说明之详细攻略
ML之sklearn:sklearn.metrics中常用的函数参数(比如confusion_matrix等 )解释及其用法说明之详细攻略目录 sklearn.metrics中常用的函数参数 con ...
ImportError: No module named sklearn.metrics
BUG:ImportError: No module named sklearn.metrics 解决方法: 1.查看是否已安装sklearn包 python import sklearn sklea ...
python计算PR曲线sklearn.metrics.precision_recall_curve
PR曲线实则是以precision(精准率)和recall(召回率)这两个为变量而做出的曲线,其中recall为横坐标,precision为纵坐标.设定一系列阈值,计算每个阈值对应的recall和pr ...
sklearn.metrics.mean_absolute_error
注意多维数组 MAE 的计算方法 * >>> from sklearn.metrics import mean_absolute_error >>> y_true ...
解决sklearn.metrics指标报错ValueError: Target is multiclass but average=‘binary‘. Please choose anothe...
完整报错为:ValueError: Target is multiclass but average='binary'. Please choose another average setting, ...

Sklearn.metrics评估方法

文章目录