谈谈我对NLP文档级关系抽取中Ign_F1指标的理解(Ign_F1与F1的关系)
因为Ign_F1这个参数网上所解释的内容都是一致的，并且不太好理解
于是我就特地请教了YX师兄
这里特地感谢1107实验室YX师兄
F1分数
F1为精确率和召回率的调和平均数（为下部分做准备）
对于查全率，查准率，还有召回值就不过多介绍了
Ign_F1
我看网上所有的解释都是：表示在训练集、验证集和测试集中不包含关系事实的F1分数。
那么我通俗的给大家白话一下：
解释Ign_F1还是需要与DocRED数据集相结合
DocRED数据集包含3,053/1,000/1,000个实例，对应训练/验证/测试
在3053里识别实体，提取实体对。
举例：
北京是中国的首都
我们可以提取<北京，首都，中国>这个关系事实
但这只是在训练集里
在1000的测试集里可能有这句话
小王来自中国，他是北京人
我们可以提取<北京，城市，中国>这个关系事实
那么（划重点了）
在测试集里提取关系对之前
我们已经在训练集里知道了北京和中国这层关系（别管是啥关系类型，肯定是有关系的）
可能就会导致F1里的查准率和准确率，召回值产生影响
降维比喻：就像是狼人杀里的上帝视角知道谁是狼人（或者说谁是坏人）谁是女巫（或者说谁是好人）
为了消除上帝视角这个隐患
我们在计算Ign_F1时，删掉已知的关系对（训练集里有的关系事实）
这样再计算Ign_F1时，得到的结果更加具有真实性
比如最近在看的一篇文章里有这个实验结果
我们可以看到F1的值是要比Ign_F1的值都要偏高
我猜测可能就是上述情况关系事实的影响
补充：
Ign_F1目前我看到的只出现在文档级关系抽取的论文里
（很可能是我看的论文太少）
如果我有理解不到位的地方，请直接指出！！！
对于Ign_F1的代码，等我弄明白了再写在文章后面
更新
最近在一篇论文里看到了这句话
The main evaluation metrics are Ign_F1 and F1 score following Y ao et al. (2019), where Ign_F1 refers to the F1 score that ignores the triples that appear in the annotated training data.
翻译过来
主要的评估指标是yao等人(2019)之后的Ign_F1和F1得分，其中Ign_F1指的是忽略标注训练数据中出现的三元组的F1得分。
更好的验证了以上解释的内容
二更
最近在跑另一篇代码时，显示的结果是Ignore ma_f1
如下图所示
再次佐证了 Ign F1值是忽略事实关系的分数值！！！
谈谈我对NLP文档级关系抽取中Ign_F1指标的理解(Ign_F1与F1的关系)相关推荐
- 【SCIR笔记】文档级事件抽取简述
作者:哈工大SCIR 胡振宇 来自:哈工大SCIR 1. 简介 事件作为信息的一种表现形式,其定义为特定的人及物在特定的时间特定的地点相互作用的事实.事件的组成元素包含触发词.事件类型.论元以及论元角 ...
- 信息抽取（四）【NLP论文复现】Multi-head Selection和Deep Biaffine Attention在关系抽取中的实现和效果
Multi-head Selection和Deep Biaffine Attention在关系抽取中的应用 前言 Multi-head Selection 一.Joint entity recogni ...
- opennre 中文关系抽取_OpenNRE 2.0：可一键运行的开源关系抽取工具包
OpenNRE(https://github.com/thunlp/OpenNRE.git)是清华大学自然语言处理实验室推出的一款开源的神经网络关系抽取工具包,包括了多款常用的关系抽取模型,发布仅一年 ...
- 腾讯AI Lab 提出「完全依存森林」，大幅缓解关系抽取中的错误传递
2020-02-16 10:11:00 作者 | 腾讯 AI Lab责编 | 贾伟 AAAI 是人工智能领域的顶级国际会议之一.今年的 AAAI 2020 是第 34届,于2月7日至12日在美国纽约举 ...
- 机器不学习：浅析深度学习在实体识别和关系抽取中的应用
机器不学习 jqbxx.com -机器学习好网站 命名实体识别(Named Entity Recognition,NER)就是从一段自然语言文本中找出相关实体,并标注出其位置以及类型,如下图.命名实体 ...
- Revisiting the Negative Data of Distantly Supervised Relation Extraction重温远程监督关系抽取中的负数据
1. 摘要 无监督的关系抽取,存在两大问题:噪声标签.训练数据不平衡 以往:研究集中在减少错误标签的关系(假阳性),很少研究由于知识库的不完备性导致的缺失关系(假阴性) 本文的贡献: – 首先对负面数 ...
- [MySQL]关系规范化中的操作异常理解
插入失败:该插入的没插入: 插入异常:不该插入的被插入: 插入异常:该插入的没插入: 删除失败:该删除的没删除: 删除异常:不该删除的被删除: 简单地说 对于删除来说: 失败:有心栽花花不开,异常:无 ...
- 论文学习14-End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures（端到端实体关系抽取）
文章目录 abstract 1.introduction 2.相关工作 3.model 3.1嵌入层 3.2 序列层 3.3实体检测 3.4 依赖层 3.5 Stacking Sequence and ...
- 达摩院文档级关系抽取新SOTA和零样本关系抽取新任务
©作者 | 邴立东.谭清宇.谢耀赓 单位 | Alibaba DAMO, NUS, SUTD 引言 关系抽取(RE)是 NLP 的核心任务之一,是构建知识库.事件抽取等下游应用的关键技术.多年来受到研 ...
最新文章
- ie不支持getElementsByName的解决办法
- hdu4909 状态压缩（偶数字符子串）
- xp版php,PHP5.3以后的版本如何在XP中安装
- linux安装oracle 操作系统内核参数 aio,Oracle Study之案例--安装Oracle内核参数配置
- ORA-01123:无法启动联机备份;未启用介质恢复（错误分析）
- ZooKeeper实战（三）：ZooKeeper实现分布式配置中心、分布式锁、Reactive响应式模型
- DeepCTR-Torch，基于深度学习的CTR预测算法库
- oracle一句话倒过来,oracle一些基本语句
- 也说翟鸿燊忽悠的一面
- [转] 做个自强不息的青年
- 计算机系十周年聚会邀请函,毕业十周年同学聚会邀请函
- python闭包技巧_案例详析：Python闭包与nonlocal关键字
- WindowsServer2003 MSSQL安全
- 基于threejs实现中国地图轮廓动画
- Update批量更新
- 【SEO实验室】使用百度SEO排名点击软件快速提升排名
- Matlab/simulink 风电风机一次调频，变桨控制，变风速调频对比，转子动能控制，虚拟惯性控制，风机内部控制详细，频域模型，DFIG，PMSG
- 程序员必备的5个工作技能
- pr 导入 歌词 字幕
- 线性方程组之二：三元一次方程组