NER任务的精确评估指标P、R、F1

直接用一个实例来看几个参数具体的含义：

sentence : The Hospital said it would probably know by Tuesday whether its patients had Congo Fever .
gold_tag: b-AGENT e-AGENT o o b-DSE m-DSE e-DSE o o b-TARGET m-TARGET m- TARGET m-TARGET m-TARGET e-TARGET o
predict_tag: o e-AGENT b-DSE o b-DSE m-DSE e-DSE o o b-AGENT b-DSE b-TARGET m-TARGET e-TARGET o o

上述例子中，每一个句子中的，每一个word都有一个gold 和 predict 标签。b、m、e分别表示实体的起始边界、中间边界、结束边界；s是表示当个实体，就是本身一个word就是一个实体。而诸如DSE、TARGET、AGENT表示是实体的类别。
实体只有这三种形式：[b,m….,e]、[b,e]、 [s]，实体是有边界的，在精确匹配过程中，需要预测实体类别以及边界范围，只有这两部分都匹配成功，才算预测正确，否则是预测错误。
金标的实体有3个，是上述gold_tag加粗部分，预测准确部分是predict_tag 加粗部分。
在自然语言处理的任务中，而且数据非常均匀，不存在很极端的数据的情况下，评价指标我们一般会用F值来评测结果。怎么计算F值呢？
给出五个参数：

gold_num：金标数量

predict_num ：预测数量

correct_num：预测准确的数量

precision：准确率(精确率)

recall ：召回率

f1：F值

具体计算公式如下所示：

NER任务的精确评估指标P、R、F1相关推荐

R语言计算F1评估指标实战：F1 score、使用R中caret包中的confusionMatrix（）函数为给定的logistic回归模型计算F1得分（和其他指标）
R语言计算F1评估指标实战:F1 score.使用R中caret包中的confusionMatrix()函数为给定的logistic回归模型计算F1得分(和其他指标) 目录
python多分类评估指标acc、f1、auc
支持向量机多分类模型,计算评估指标acc.f1.auc. from sklearn import datasets from sklearn.svm import SVC from sklearn i ...
ner 评估指标_序列标注算法评估模块 seqeval 的使用
在NLP中,序列标注算法是常见的深度学习模型,但是,对于序列标注算法的评估,我们真的熟悉吗? 在本文中,笔者将会序列标注算法的模型效果评估方法和seqeval的使用. 序列标注算法的模型效果评估在序 ...
r型聚类典型指标_六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步...
论文:An empirical study on evaluation metrics of generative adversarial networks 论文链接:https://arxiv.or ...
[机器学习] 二分类模型评估指标---精确率Precision、召回率Recall、ROC|AUC
一为什么要评估模型? 一句话,想找到最有效的模型.模型的应用是循环迭代的过程,只有通过持续调整和调优才能适应在线数据和业务目标. 选定模型时一开始都是假设数据的分布是一定的,然而数据的分布会随着时间 ...
ner 评估指标_2019-03 NER命令实体识别归纳
1. 基本概念概念:一般来说,NER的标注列表为['O' ,'B-MISC', 'I-MISC', 'B-ORG' ,'I-ORG', 'B-PER' ,'I-PER', 'B-LOC' ,'I-L ...
R语言分类模型：逻辑回归模型LR、决策树DT、推理决策树CDT、随机森林RF、支持向量机SVM、Rattle可视化界面数据挖掘、分类模型评估指标（准确度、敏感度、特异度、PPV、NPV）
R语言分类模型:逻辑回归模型LR.决策树DT.推理决策树CDT.随机森林RF.支持向量机SVM.Rattle可视化界面数据挖掘.分类模型评估指标(准确度.敏感度.特异度.PPV.NPV) 目录
R语言构建logistic回归模型并评估模型：构建基于混淆矩阵计算分类评估指标的自定义函数、阳性样本比例（垃圾邮件比例）变化对应的分类器性能的变化、基于数据阳性样本比例选择合适的分类评估指标
R语言构建logistic回归模型并评估模型:构建基于混淆矩阵计算分类评估指标的自定义函数.阳性样本比例(垃圾邮件比例)变化对应的分类器性能的变化.基于数据阳性样本比例选择合适的分类评估指标目录
R语言使用caret包对GBM模型自定义参数调优：自定义优化参数网格、可视化核心参数与评估指标关系、Accuracy与树的深度、个数的关系、Kappa与树的深度、个数的关系
R语言使用caret包对GBM模型自定义参数调优:自定义优化参数网格.可视化核心参数与评估指标关系.Accuracy与树的深度.个数的关系.Kappa与树的深度.个数的关系目录 R语言使用caret ...

NER任务的精确评估指标P、R、F1

NER任务的精确评估指标P、R、F1相关推荐

最新文章

热门文章