OVR模式和sklearn模型评价标准学习

OvR则是每次将一个类的样例作为正例、所有其他类的样例作为反例来训练N个分类器.在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果如图3.4所示若有多个分类器预测为正类、则通常考虑分类器的预测置信度，选择置信度最大的类别标记作为分类结果.

容易看出，OvR只需训练N个分类器，而且训练时，OvR的每个分类器均使用全部训练样例，因此，在类别很多时，至于预测性能，则取决于具体的数据分布，在多数情形下两者差不多.

实例分析，数据如下：
一、数据

真实类别：A, A, A, A, B, B, B, C, C
通过OVR预测类别：A, A, B, C, B, B, C, B, C

首先介绍二分类混淆矩阵：

对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合分为真正例(true positive)、假正例(false positive)、真反例(rue negativer假反例(false negative)四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+ TN +FN =样例总数.分类结果的“混淆矩阵如表所示.

查准率：在预测结果正例中，真正例所占比例。

查全率：在真实正例中，预测正例所占比例

查准率和查全率是一对矛盾的度量.上般来说，查准率高时，查全率往往偏低;而查全率高时，查准率往往偏低.

根据上图的思想则各个类别的真假阳阴性：

A B C 总计

TP   2      2      1       5
FP   0      2      2       4
FN   2      1      1       4

# 计算各个类别的准确率，召回率，与F1-score
from sklearn.metrics import precision_recall_fscore_supporty_true = [1, 1, 1, 1, 2, 2, 2, 3, 3]
y_pred = [1, 1, 2, 3, 2, 2, 3, 2, 3]p_class, r_class, f_class, support_micro = precision_recall_fscore_support(y_true,y_pred,labels=[1,2,3])print(p_class)
print(r_class)
print(f_class)
print(support_micro)[1.         0.5        0.33333333]
[0.5        0.66666667 0.5       ]
[0.66666667 0.57142857 0.4       ]
[4 3 2]

from sklearn.metrics import f1_scorey_true = [1, 1, 1, 1, 2, 2, 2, 3, 3]
y_pred = [1, 1, 2, 3, 2, 2, 3, 2, 3]f1_macro = f1_score(y_true,y_pred,average='macro')print('f1_macro: {0}'.format(f1_macro))f1_macro: 0.546031746031746

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay# 预测分类结果
y_pred = clf.predict(X_test)# 你可以打印一下预测结果和分类结果
print("y_test: ", y_test)
print("y_pred: ", y_pred)# 得到混淆矩阵(confusion matrix,简称cm)
# confusion_matrix 需要的参数：y_true(真实标签),y_pred(预测标签)
cm = confusion_matrix(y_true=y_test, y_pred=y_pred)# 打印混淆矩阵
print("Confusion Matrix: ")
print(cm)# 画出混淆矩阵
# ConfusionMatrixDisplay 需要的参数: confusion_matrix(混淆矩阵), display_labels(标签名称列表)
disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=labels)
disp.plot()
plt.show()

OVR模式和sklearn模型评价标准学习相关推荐

二分类最优阈值确定_分类模型评价标准，AUC还是Macro F1？
在人工智能领域,分类任务占据了很大的比例,例如物体识别(计算机视觉).信用卡欺诈(数值型预测).情感分析(自然语言处理)等等.针对众多的分类需求,模型的评价标准只是简单的准确率(Accuracy)吗? ...
深度学习模型评价标准
1.查准率,精度(precision)和召回率,查全率(recall) 查准率:预测为正例中实际的正例数比例查全率:有多少个正例被分为正例 ROC曲线横坐标是特异性(FPR):负正类 FP / ( ...
图像质量评价标准学习笔记（3）-信息保真度准则（IFC）、特征相似性(FSIM)
信息保真度准则(IFC) 这个评价值比较复杂,使用小波域的 GSM( Gaussianscale mixture) 模型对 NSS 建模,NSS指自然场景. 小波转换把图像分解成很多系数,自然场景的小 ...
[基本功]分类模型评价标准
混淆矩阵: 预测阳性预测阴性总计实际阳性 TP FN P 实际阴性 FP TN N 总计 X Y ntotaln_{total}ntotal 准确率(accuracy) TP+TNntotal ...
关于模型评价标准的例子
昨天一道笔试题,举例解释说明如下模型评价指标的含义 accuracy = (TP + TN) / (TP + FP + TN + FN) TPR = TP /(TP + FN) TNR = TN ...
百度燎原计划2018强势回归开放深度学习工程师评价标准
人工智能时代风口在燃烧,百度希望让每个人都能用上AI.4月20日,百度"燎原计划2018"暨百度AI开发者实战营第二季强势回归,首站北京即放送三大满足各类开发者需求的"超 ...
算法模型好坏、评价标准、算法系统设计
算法模型好坏的评价通用标准: 1.解的精确性与最优性.基于正确性基础上. 2.计算复杂度,时间成本. 3.适应性.适应变化的输入和各种数据类型. 4.可移植性. 5.鲁棒性.健壮性. 鲁棒性(robu ...
深度学习评价标准：TP、FN、FP、TN、AP、MAP
转载:https://blog.csdn.net/clover_my/article/details/104428517 值得参考的博客:https://blog.csdn.net/wang_ys12 ...
【树模型与集成学习】(task8)阶段性总结（更新ing）
学习总结作业需要继续补! task1学习决策树基础,根据评价标准为信息增益.信息增益比.基尼指数分别分为ID3树,C4.5树和CART树 task2学习cart的分类和回归代码 task3基于偏差和 ...

OVR模式和sklearn模型评价标准学习

OVR模式和sklearn模型评价标准学习相关推荐

最新文章

热门文章