跟我读论文丨ACL2021 NER BERT化隐马尔可夫模型用于多源弱监督命名实体识别
摘要:本文是对ACL2021 NER BERT化隐马尔可夫模型用于多源弱监督命名实体识别这一论文工作进行初步解读。
本文分享自华为云社区《ACL2021 NER | BERT化隐马尔可夫模型用于多源弱监督命名实体识别》,作者: JuTzungKuei 。
论文:Li Yinghao, Shetty Pranav, Liu Lucas, Zhang Chao, Song Le. BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition[A]. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) [C]. Online: Association for Computational Linguistics, 2021, 6178–6190.
链接:https://aclanthology.org/2021.acl-long.482.pdf
代码:https://github.com/Yinghao-Li/CHMM-ALT
0、摘要
- 研究内容:使用多个弱监督数据的噪音标签学习NER
- 噪音数据:不全、不准、矛盾
- 提出一个条件隐马尔可夫模型(CHMM:conditional hidden Markov model)
- 利用BERT的上下文表示能力,增强了经典的HMM模型
- 从BERT嵌入中学习词的转移和发射概率,推断潜在的真标签
- 用交替训练方法(CHMM-ALT)进一步完善CHMM
- 用CHMM推导出的标签对BERT-NER模型进行微调
- BERT-NER的输出作为额外的弱源来训练CHMM
- 四份数据集上达到SOTA
1、介绍
- NER是许多下游信息抽取任务的基础任务:事件抽取、关系抽取、问答
- 有监督、需要大量标注数据
- 许多领域有知识源:知识库、领域词典、标注规则
- 可以用来匹配语料库,从多角度,快速生成大规模的噪声训练数据
- 远程监督NER:只使用知识库作为弱监督,未使用多源标注的互补信息
- 现有利用HMM方法,有局限性:one-hot词向量 或 不建模
- 贡献:
- CHMM:聚合多源弱标签
- 交替训练方法CHMM-ALT:轮流训练CHMM和BERT-NER,利用彼此的输出进行多回路,以优化多源弱监督NER性能
- 四份基准数据集获得SOTA
2、方法
- CHMM-ALT 训练两个模型:多源标签聚合器CHMM和BERT-NER 模型,轮流作为彼此的输出
- 阶段I:CHMM根据K个源x_{1:K}^{(1:T)}x1:K(1:T),生成一个去噪标签y^{*(1:T)}y∗(1:T),微调BERT-NER模型输出\widetilde{y}^{(1:T)}y(1:T),作为额外的标注源,添加到原始弱标签集合x_{1:K+1}^{(1:T)} = \{x_{1:K}^{(1:T)} , \widetilde{y}^{(1:T)}\}x1:K+1(1:T)={x1:K(1:T),y(1:T)}
- 阶段II:CHMM和BERT-NER在几轮循环中互相改进,每轮循环,先训练CHMM,后微调BERT-NER,更新前者的输入
- CHMM 提高Precision,BERT-NER提高Recall
- 隐马尔可夫模型
- 不细解
3、结果
号外号外:想了解更多的AI技术干货,欢迎上华为云的AI专区,目前有AI编程Python等六大实战营供大家免费学习。
点击关注,第一时间了解华为云新鲜技术~
跟我读论文丨ACL2021 NER BERT化隐马尔可夫模型用于多源弱监督命名实体识别相关推荐
- 论文阅读【7】HHM隐马尔科夫模型
1.隐马尔科夫模型(HMM)的介绍 隐马尔科夫模型有两个序列,上面一层序列的值称之为影藏值(隐式变量),下面一个序列中的值被称为观察值,想这个的序列模型被称为生成模型(Generate model). ...
- 隐马尔可夫模型(HMM)实现命名实体识别(NER)
隐马尔可夫模型(HMM)实现命名实体识别(NER) 一.命名实体识别(Named Entity Recognition,NER) 识别文本中具有特定意义的实体,包括人名.地名.机构名.专有名词等等 在 ...
- 用隐马尔可夫模型(HMM)做命名实体识别——NER系列(二)
上一篇文章里<用规则做命名实体识别--NER系列(一)>,介绍了最简单的做命名实体识别的方法–规则.这一篇,我们循序渐进,继续介绍下一个模型--隐马尔可夫模型. 隐马尔可夫模型,看上去,和 ...
- 用隐马尔可夫模型(HMM)做命名实体识别——NER系列(一)
原博python2写的,文末是我改的python3代码 隐马尔可夫模型,看上去,和序列标注问题是天然适配的,所以自然而然的,早期很多做命名实体识别和词性标注的算法,都采用了这个模型. 这篇文章我将基于 ...
- 一文读懂NLP之隐马尔科夫模型(HMM)详解加python实现
一文读懂NLP之隐马尔科夫模型(HMM)详解加python实现 1 隐马尔科夫模型 1.1 HMM解决的问题 1.2 HMM模型的定义 1.2.1HMM的两个假设 1.2.2 HMM模型 1.3 HM ...
- 跟我读论文丨ACL2021 NER 模块化交互网络用于命名实体识别
摘要:本文是对ACL2021 NER 模块化交互网络用于命名实体识别这一论文工作进行初步解读. 本文分享自华为云社区<ACL2021 NER | 模块化交互网络用于命名实体识别>,作者: ...
- Hidden Markov Models Fundamentals 隐性马尔科夫模型 论文心得
对自己研究的帮助 求解因变量,解决非凸问题帮助很大 大概框架 摘要 我们如何将机器学习应用于表示为一系列观察结果的数据?马尔可夫模型是一种关于状态随时间推移的推理形式,隐马尔可夫模型是我们希望从一系列 ...
- 命名实体识别 NER 论文综述:那些年,我们一起追过的却仍未知道的花名 (一)...
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要24分钟 跟随小博主,每天进步一丢丢 作者: 龚俊民(昵称: 除夕) 学校: 新南威尔士大学 方向: 自然语言处理和可解释学习 知乎: http ...
- 【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究
NER是自然语言处理中相对比较基础的任务,但却是非常重要的任务.在NLP中,大部分的任务都需要NER的能力,例如,聊天机器人中,需要NER来提取实体完成对用户输入的理解:在信息提取任务中,需要提取相应 ...
最新文章
- UnicodeDecodeError: ‘ascii’ codec can’t decode...: ordinal not in range(128 问题解决
- 常见的shell实例
- 利用二极管的P-N结的I-V特性测量Boltzmann常数
- Ceph 的用户管理与认证
- python3安装步骤mac-Mac 上安装python3——手把手教程
- 【机器学习入门笔记6:OpenCV像素的读取与写入】20190204
- CORS解决WebApi跨域问题(转)
- 500多页的机器学习入门笔记,下载超5万次,都讲了些什么?
- HttpClient 使用证书访问https站点
- 当推荐系统遇见知识图谱会发生什么?
- 女人的话中话(英文版),供男生参考哦
- python绘制小狗_用Python画一只有点方的小狗狗——turtle库基础入门
- k8s-kubectl进程源码分析
- 前端实践(3)——图像幻灯片
- 2022程序猿生产力软件推荐
- 木蚂蚁软件光盘 V2.0 2008元旦贺岁版
- java base64转Binary
- 关于N卡录制双音轨问题以及PR2020 注册机
- 代写COSC1295 Advanced Programming 作业、代做Java JDBC 程序设计作业、Java编程代写
- 计算机英语单词怎么读,英语单词read怎么读,read的音标是什么,read是什么意思 - 音标网...