python 计算召回率的程序_python实现计算精度、召回率和F1值
python实现计算精度、召回率和F1值
摘要:在深度学习的分类任务中,对模型的评估或测试时需要计算其在验证集或测试集上的预测精度(prediction/accuracy)、召回率(recall)和F1值。本文首先简要介绍如何计算精度、召回率和F1值,其次给出python编写的模块,可直接将该模块导入在自己的项目中,最后给出这个模块的实际使用效果。
一、混淆矩阵及P、R、F1计算原理
1、混淆矩阵
在进行二分类或多分类任务中,对于预测的评估经常需要构建一个混淆矩阵来表示测试集预测类与实际类的对应关系,混淆矩阵横坐标表示实际的类,纵坐标表示预测的类。混淆矩阵属于 n × n n\times nn×n 方阵,其中 n nn 表示类的个数。矩阵可用下面表示:
c o n f m a r t i x ( t r u e L a b e l , p r e d i c t L a b e l ) confmartix(trueLabel,predictLabel)confmartix(trueLabel,predictLabel)
因此该矩阵的某一个元素 c o n f m a r t i x ( i , j ) confmartix(i,j)confmartix(i,j) 表示实际类 i ii 被预测成 j jj 的样本个数。很显然,当前仅当 i = j i=ji=j ,即矩阵的主对角线上的元素表示被预测正确的。
2、P、R、F1值
基于混淆矩阵可以很轻松的计算出精度、召回率和F1值,以及微平均和宏平均。
样本的总体精度(宏平均,all_prediction):混淆矩阵主对角线上元素和除以混淆矩阵所有元素和。公式为:
a l l _ p r e d i c t i o n = s u m ( d i a g ( c o n f m a r t i x ) ) s u m ( c o n f m a r t i x ) all\_prediction=\frac{sum(diag(confmartix))}{sum(confmartix)}all_prediction=sum(confmartix)sum(diag(confmartix))
某个类 i ii 的精度(label_i_prediction):元素 c o n f m a r t i x ( i , i ) confmartix(i,i)confmartix(i,i) 除以下标为 i ii 的纵坐标元素和。公式为:
l a b e l _ i _ p r e d i c t i o n = c o n f m a r t i x ( i , i ) ∑ j c o n f m a r t i x ( j , i ) label\_i\_prediction=\frac{confmartix(i,i)}{\sum_j{confmartix(j,i)}}label_i_prediction=∑jconfmartix(j,i)confmartix(i,i)
某各类 i ii 的召回率(label_i_recall):元素 c o n f m a r t i x ( i , i ) confmartix(i,i)confmartix(i,i) 除以下标为 i ii 的横坐标元素和。公式为:
l a b e l _ i _ r e c a l l = c o n f m a r t i x ( i , i ) ∑ j c o n f m a r t i x ( i , j ) label\_i\_recall=\frac{confmartix(i,i)}{\sum_j{confmartix(i,j)}}label_i_recall=∑jconfmartix(i,j)confmartix(i,i)
样本的总体召回率(宏平均 MACRO-averaged): 所有类的召回率的平均值。公式为:
a l l _ r e c a l l = a v g ( ∑ i l a b e l _ i _ r e c a l l ) all\_recall=avg(\sum_i{label\_i\_recall})all_recall=avg(i∑label_i_recall)
样本的总体精度(宏平均 MACRO-averaged):区别于第一个,宏平均为所有类的精度的均值。公式为:
a l l _ p r e d i c t i o n = a v g ( ∑ i l a b e l _ i _ p r e d i c t i o n ) all\_prediction=avg(\sum_i{label\_i\_prediction})all_prediction=avg(i∑label_i_prediction)
F1值:总体样本(或某个类)的精度和召回率满足如下:
F 1 = 2 × p r e d i c t i o n × r e c a l l p r e d i c t i o n + r e c a l l F1=\frac{2\times prediction \times recall}{prediction + recall}F1=prediction+recall2×prediction×recall
3、样例计算
为了更加清楚的理解上面的计算公式,给出一个关系抽取的实例,例如下面的混淆矩阵,横坐标为实际类,纵坐标为预测的类,一共19个类。
总体均值为:2052 / 2717 = 75.52 % 2052/2717=75.52\%2052/2717=75.52%
各个类的精度、召回率和F1值为:
宏平均精度为71.09 % 71.09\%71.09%、宏平均召回率为71.77 % 71.77\%71.77%、F1值为71.43 71.4371.43。
二、python模块
为了在实际实验中更快捷的计算相应值,许多集成的perl脚本可以很轻松的实现计算,但为了更加方便用户编辑以及无缝接入自己的项目中,本文实现python的简单脚本。用户仅需import即可调用,源码如下:
#####模块说明######
'''
根据传入的文件true_label和predict_label来求模型预测的精度、召回率和F1值,另外给出微观和宏观取值。
powered by wangjianing 2019.3.2
'''
import numpy as np
def getLabelData(file_dir):
'''
模型的预测生成相应的label文件,以及真实类标文件,根据文件读取并加载所有label
1、参数说明:
file_dir:加载的文件地址。
文件内数据格式:每行包含两列,第一列为编号1,2,...,第二列为预测或实际的类标签名称。两列以空格为分隔符。
需要生成两个文件,一个是预测,一个是实际类标,必须保证一一对应,个数一致
2、返回值:
返回文件中每一行的label列表,例如['true','false','false',...,'true']
'''
labels = []
with open(file_dir,'r',encoding="utf-8") as f:
for i in f.readlines():
labels.append(i.strip().split(' ')[1])
return labels
def getLabel2idx(labels):
'''
获取所有类标
返回值:label2idx字典,key表示类名称,value表示编号0,1,2...
'''
label2idx = dict()
for i in labels:
if i not in label2idx:
label2idx[i] = len(label2idx)
return label2idx
def buildConfusionMatrix(predict_file,true_file):
'''
针对实际类标和预测类标,生成对应的矩阵。
矩阵横坐标表示实际的类标,纵坐标表示预测的类标
矩阵的元素(m1,m2)表示类标m1被预测为m2的个数。
所有元素的数字的和即为测试集样本数,对角线元素和为被预测正确的个数,其余则为预测错误。
返回值:返回这个矩阵numpy
'''
true_labels = getLabelData(true_file)
predict_labels = getLabelData(predict_file)
label2idx = getLabel2idx(true_labels)
confMatrix = np.zeros([len(label2idx),len(label2idx)],dtype=np.int32)
for i in range(len(true_labels)):
true_labels_idx = label2idx[true_labels[i]]
predict_labels_idx = label2idx[predict_labels[i]]
confMatrix[true_labels_idx][predict_labels_idx] += 1
return confMatrix,label2idx
def calculate_all_prediction(confMatrix):
'''
计算总精度:对角线上所有值除以总数
'''
total_sum = confMatrix.sum()
correct_sum = (np.diag(confMatrix)).sum()
prediction = round(100*float(correct_sum)/float(total_sum),2)
return prediction
def calculate_label_prediction(confMatrix,labelidx):
'''
计算某一个类标预测精度:该类被预测正确的数除以该类的总数
'''
label_total_sum = confMatrix.sum(axis=0)[labelidx]
label_correct_sum = confMatrix[labelidx][labelidx]
prediction = 0
if label_total_sum != 0:
prediction = round(100*float(label_correct_sum)/float(label_total_sum),2)
return prediction
def calculate_label_recall(confMatrix,labelidx):
'''
计算某一个类标的召回率:
'''
label_total_sum = confMatrix.sum(axis=1)[labelidx]
label_correct_sum = confMatrix[labelidx][labelidx]
recall = 0
if label_total_sum != 0:
recall = round(100*float(label_correct_sum)/float(label_total_sum),2)
return recall
def calculate_f1(prediction,recall):
if (prediction+recall)==0:
return 0
return round(2*prediction*recall/(prediction+recall),2)
def main(predict_file,true_file):
'''
该为主函数,可将该函数导入自己项目模块中
打印精度、召回率、F1值的格式可自行设计
'''
#读取文件并转化为混淆矩阵,并返回label2idx
confMatrix,label2idx = buildConfusionMatrix(predict_file,true_file)
total_sum = confMatrix.sum()
all_prediction = calculate_all_prediction(confMatrix)
label_prediction = []
label_recall = []
print('total_sum=',total_sum,',label_num=',len(label2idx),'\n')
for i in label2idx:
print(' ',i)
print(' ')
for i in label2idx:
print(i,end=' ')
label_prediction.append(calculate_label_prediction(confMatrix,label2idx[i]))
label_recall.append(calculate_label_recall(confMatrix,label2idx[i]))
for j in label2idx:
labelidx_i = label2idx[i]
label2idx_j = label2idx[j]
print(' ',confMatrix[labelidx_i][label2idx_j],end=' ')
print('\n')
print('prediction(accuracy)=',all_prediction,'%')
print('individual result\n')
for ei,i in enumerate(label2idx):
print(ei,'\t',i,'\t','prediction=',label_prediction[ei],'%,\trecall=',label_recall[ei],'%,\tf1=',calculate_f1(label_prediction[ei],label_recall[ei]))
p = round(np.array(label_prediction).sum()/len(label_prediction),2)
r = round(np.array(label_recall).sum()/len(label_prediction),2)
print('MACRO-averaged:\nprediction=',p,'%,recall=',r,'%,f1=',calculate_f1(p,r))
使用说明:
1、在自己的项目中,做模型的测试时,需要将实际类及预测类分别写入文件,格式例如下图:第一列为编号,第二列为类,中间用一个字符的空格隔开。
2、在测试的文件中添加导入模块语句
import prf1(假设这个脚本保存为 prf1.py)
3、模型预测后,执行(其中predict_file和true_file分别表示预测类文件和实际类文件):
prf1.main(predict_file,true_file)
备注:当然大家可以自己设计main函数中的打印格式
三、使用效果
博主将该脚本用在自己的实验中,做关于中文学科知识点关系抽取实验中,输出效果如图:
博客记录着学习的脚步,分享着最新的技术,非常感谢您的阅读,本博客将不断进行更新,希望能够给您在技术上带来帮助。欢迎转载,转载请注明出处
python 计算召回率的程序_python实现计算精度、召回率和F1值相关推荐
- python计算sinx近似值的程序_python编程计算sinx-女性时尚流行美容健康娱乐mv-ida网...
女性时尚流行美容健康娱乐mv-ida网 mvida时尚娱乐网 首页 美容 护肤 化妆技巧 发型 服饰 健康 情感 美体 美食 娱乐 明星八卦 首页 > 高级搜索 python 字符串,数值 计 ...
- C语言用数组计算成绩平均值,C程序使用数组计算平均值
C程序使用数组计算平均值 在此示例中,您将学习计算用户使用数组输入的n个元素的平均值. 要理解此示例,您应该了解以下C语言编程主题: 使用数组存储数字并计算平均值#include int main() ...
- python三维数据转换成二维_Python科学计算全生态工具锦集
没关注? 伸出手指点这里 AI Python目前是与科学计算结合最好的一门编程语言,包括大数据分析.机器学习.人工智能.可视化,甚至是天文学.生物学(神经科学).量子力学等等都有强大的工具包支持 P ...
- python正弦波和等腰三角波_Python科学计算——任意波形拟合
任意波形的生成 (geneartion of arbitrary waveform) 在商业,军事等领域都有着重要的应用,诸如空间光通信 (free-space optics communicatio ...
- 用python计算邮费考虑是否加急_python多核计算的那些坑和计算效率考量
最近从处理股票日频.分钟频 转到处理tick级别数据,发现单核计算的能力已经跟不上现在的需求.转向在服务器上做并行计算.亲自捣鼓了一圈,总结一下碰到的各种坑,以及性能提升的一些关键点.大体上按照简单到 ...
- python倒序输出数字的程序_python输入一个整数倒序输出
信息举报 时间:2020-11-23 本页为您甄选多篇描写python输入一个整数倒序输出,python输入一个整数倒序输出精选,python输入一个整数倒序输出大全,有议论,叙事 ,想象等形式.文章 ...
- python写用用户名密码程序_Python创建用户名和密码程序
我现在只是一个初学者程序员,我正在尝试创建一个用户名/密码程序.这是我的代码如下: username = 'Polly1220' password = 'Bob' userInput = input( ...
- python用字典编写购物程序_Python编写购物小程序
购物车要求: 用户名和密码存放于文件中 启动程序后,先登录,登录成功则让用户输入工资,然后打印商品列表,失败则重新登录,超过三次则退出程序 允许用户根据商品编号购买商品 用户选择商品后,检测余额是否够 ...
- 用python写一个记账小程序_python实现日常记账本小程序
python实现收支的自动计算,能够查询每笔账款的消费详情,具体内容如下 1.函数需要两个文件:一个类似钱包功能,存放钱:另一个用于记录每笔花销的用途 #!/usr/bin/env python im ...
最新文章
- CentOS 7 相关命令
- 核心算法缺位,人工智能发展面临“卡脖子”窘境
- Python3基础-分数运算
- Hadoop Shell命令
- 使用变量_存储过程和函数及变量的使用
- 设计模式学习笔记1——类与类之间的关系
- 计算机图标ps教程视频,PS制作腾讯视频标志 -电脑资料
- react周期函数介绍
- 台式计算机m9870t,新闻中心 ——驱动之家:您身边的电脑专家
- 使用adb命令启动app
- 工业机器人电气系统拆装实训平台
- 计算机有自带的拼音打字功能吗,搜狗拼音输入法 自带功能提升打字速度的技巧...
- JAVA自学之路 来自尚学堂马士兵老师
- freemarker ftl文件简单语法整理
- APP内搜索:下一代搜索属于百度还是微信?
- 《第二行代码》学习笔记
- Java全栈学习day05(面向对象02)
- python自动翻译导学案_变量python学案
- 【深度学习BookNote】多层感知器(multi-layer perceptron)
- rt linux 测试,Ubuntu下测试RT-Linux的性能
热门文章
- 人机博弈 围棋程序GNU GO 所有版本源码及使用方法
- 【佳学基因人工智能】RNA测序数据的信息分析——基因解码信息源的准备
- 计算机可用内存分配失败,安装内存和实际可用内存不一样什么原因
- Codevs 2054疯狂的馒头
- 【LeetCode-SQL】1527. 患某种疾病的患者
- 计算机视觉与深度学习(4)
- 可过滤多种广告的“ADM(阿呆喵)广告拦截工具
- 最长对称字符串php_PHP-字符串过长不用担心
- 大数据技术会偷看我们的邮件?
- 计算机键盘音乐好汉歌,好汉歌(刘欢演唱的歌曲)_百度百科