用python计算准确率_分词结果准确率、召回率计算-python(示例代码)

使用python计算分词结果的准确率，召回率和F值

测试文件output.txt格式如下:

团 B B

圆 E E

是 BE BE

春 B B

节 E E

千 B B

年 E E

不 B B

变 E E

的 BE BE

... ... ....

python代码如下：

1、读入output.txt文件,并建立相应的列名为‘character‘,‘train‘,‘test‘的dataframe

importpandas

line=[]

file=open(r‘E:\大三下\王东波\CRF 相关\CRF 相关\crf++ tools\output.txt‘,‘r‘,encoding=‘utf-8‘)for i infile.readlines():

i=i[0:-1]if len(i)!=0 and len(i)!=1:

line.append(i.split(‘\t‘))

df=pandas.DataFrame(line,columns=[‘character‘,‘train‘,‘test‘])

【注：使用df.loc添加新行的速度太慢，因而使用列表向dataframe转化】

2、构建新的dataframe保存分词准确的部分

correct=df[df.train==df.test]

3、计算召回率、准确率和F值

for i in (‘B‘,‘C‘,‘E‘,‘BE‘):

R=sum(correct.test==i)/sum(df.train==i)

P=sum(correct.test==i)/sum(df.test==i)

F=R*P*2/(R+P)print(i,‘:\n‘,‘R=‘,R,‘P=‘,P,‘F=‘,F)

计算结果如下：

B :

R= 0.915480621852 P= 0.87615255658 F= 0.895384944855C :

R= 0.674981658107 P= 0.757201646091 F= 0.713731574864E :

R= 0.919001751313 P= 0.879715004191 F= 0.898929336188BE :

R= 0.865064695009 P= 0.940703517588 F= 0.901299951854

用python计算准确率_分词结果准确率、召回率计算-python(示例代码)相关推荐

python合并音频和视频_ffmpeg+Python实现B站MP4格式音频与视频的合并示例代码
安装官网下载选择需要的版本将解压后得到的以下几个文件放置在E:\FFmpeg下环境变量此电脑--属性--高级系统设置--环境变量在系统变量(也就是下面那一半)处找到新建,按如下所示的方法填 ...
python计算召回率_分词结果准确率、召回率计算-python
原博文 2016-06-19 13:01 − 使用python计算crf根据模型的分词结果的准确率,召回率和F值测试文件output.txt,第一列是字,第二列是人工标注的分词结果,第三列是根据模型 ...
python计算召回率_序列标注的准确率和召回率计算
最近在用BiLSTM+CRF做命名实体识别问题.关于模型效果评估,很多提到用conlleval.pl来实现,conlleval.pl是perl语言写的,原谅我没看懂.最后还是决定自己写个程序算一算准确 ...
python计算召回率代码_序列标注的准确率和召回率计算
最近在用BiLSTM+CRF做命名实体识别问题.关于模型效果评估,很多提到用conlleval.pl来实现,conlleval.pl是perl语言写的,原谅我没看懂.最后还是决定自己写个程序算一算准确 ...
【机器学习】二分类问题中的混淆矩阵、准确率、召回率等 (Python代码实现)
文章目录混淆矩阵召回率与准确率准确度Accuracy sklearn代码示例混淆矩阵混淆矩阵(Confusion Matrix):将分类问题按照真实情况与判别情况两个维度进行归类的一个矩阵, ...
准确率（precision）、召回率（recall）和F值
摘要: 数据挖掘.机器学习和推荐系统中的评测指标-准确率(Precision).召回率(Recall).F值(F-Measure)简介. 引言: 在机器学习.数据挖掘.推荐系统完成建模之后,需要对模型 ...
python ide 最好_我在iPad上最好的Python IDE
python ide 最好 Having finished my first year at university, and being left with very little to do thi ...
准确率（Precision）、召回率（Recall）以及综合评价指标（F1-Measure ）
在信息检索和自然语言处理中经常会使用这些参数,下面简单介绍如下: 准确率与召回率(Precision & Recall) 我们先看下面这张图来加深对概念的理解,然后再具体分析.其中,用P代表P ...
python 字符串拼接_面试官让用 3 种 python 方法实现字符串拼接？对不起我有8种……...
点击上方蓝字关注我们点击上方"印象python",选择"星标"公众号重磅干货,第一时间送达!之前发过很多关于 Python 学习的文章,收到大家不少的好评, ...

用python计算准确率_分词结果准确率、召回率计算-python(示例代码)

用python计算准确率_分词结果准确率、召回率计算-python(示例代码)相关推荐

最新文章

热门文章