【论文】 NLP中命名实体识别从机器学习到深度学习的代表性研究
点击上方,选择星标或置顶,每天给你送干货!
阅读大概需要7分钟
跟随小博主,每天进步一丢丢
来自:有三AI
作者:小Dream哥小Dream哥
NER是自然语言处理中相对比较基础的任务,但却是非常重要的任务。在NLP中,大部分的任务都需要NER的能力,例如,聊天机器人中,需要NER来提取实体完成对用户输入的理解;在信息提取任务中,需要提取相应的实体,以完成对信息的抽取。
本篇介绍NER中常用的方法,从常用的机器学习方法到深度学习的方法。
作者&编辑 | 小Dream哥
1 早期的HMM
早期的一篇介绍HMM在NER中的应用,实验效果还可以。现在还有一些实体识别有用到HMM,读此文对于了解NER的发展有一定的好处。
[1] Su, Jian , and J. Su . "Named entity recognition using an HMM-based chunk tagger." Proc Acl (2002):473-480.
2 主流NER架构LSTM +CRF
随着深度学习的兴起,LSTM+CRF变成NER任务的主流方法,下面是一篇较为典型的介绍的LSTM+CRF进行NER任务的文章。
[2] Huang, Zhiheng , W. Xu , and K. Yu . "Bidirectional LSTM-CRF Models for Sequence Tagging." Computer Science (2015).
3 讨论了CNN进行NER任务
在NLP任务中用CNN进行特征提取一直不是主流,这篇论文在NER中引入CNN。
[3] Chiu, Jason P. C. , and E. Nichols . "Named Entity Recognition with Bidirectional LSTM-CNNs." Computer Science (2015).
4 空洞卷积在NER中的应用
因为传统CNN对长序列的输入特征提取能力偏弱,有研究者提出将Dilated Convolutions(空洞卷积)应用在NER中的想法。空洞卷积可以加大感受野,提高模型的训练和预测速度。
[4] Emma Strubell Patrick Verga. Fast and Accurate Entity Recognition with Iterated Dilated Convolutions. 2017
5 Lattice LSTM
中文的NER与英文不太一样,中文NER问题很大程度上取决于分词的效果,比如实体边界和单词的边界在中文NER问题中经常是一样的。
所以在中文NER问题中,有时通常先对文本进行分词然后再预测序列中单词的类别。这样一来会导致一个问题,即在分词中造成的错误会影响到NER的结果。基于字向量的模型能够避免上述问题,但因为单纯采用字向量,导致拆开了很多并不应该拆开的词语,从而丢失了它们本身的内在信息。
此文提出一种用于中文NER的LSTM的格子模型,与传统使用字向量的模型相比,它提出的模型显式地利用了字序列之间的关系,能够很好的避免分词错误带来的影响。
[5] Yue Zhang, Jie Yang. Chinese NER Using Lattice LSTM. 2018
6 实体识别与实体匹配
实体匹配是指将识别到的实体与知识库或者图谱中实体进行匹配与映射。因此实体匹配与识别是两个相关性非常高的任务,通过实体匹配,识别到的实体与现实中的概念相连接。这篇论文将实体匹配与识别统一起来训练,认为两个任务一起学习,能够提升两个任务的准确率。
[6] Pedro Henrique Martins, Zita Marinho. Joint Learning of Named Entity Recognition and Entity Linking. 2019.
7 引入BERT及attention
引入了很多新的概念到命名实体识别中,例如BERT,Attention。感兴趣的同学可以看一看,会有蛮大的收益。
[7] Anton A. Emelyanov, Ekaterina Artemova. Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF. arXiv preprint arXiv:1906.09978v1 2019
8 AutoNER
论文提出了一个无需人工标注就可以自动标记数据并训练NER的模型--AutoNER。实验表明,AutoNER训练的模型在3个数据集上均与有监督的benchmark相当。感兴趣的同学可以参考下。
[8] Jingbo Shang, Liyuan Liu. Learning Named Entity Tagger using Domain-Specifific Dictionary. arXiv preprint arXiv:1809.03599v1 2018
推荐阅读:
【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译
【一分钟论文】Semi-supervised Sequence Learning半监督序列学习
详解Transition-based Dependency parser基于转移的依存句法解析器
经验 | 初入NLP领域的一些小建议
学术 | 如何写一篇合格的NLP论文
干货 | 那些高产的学者都是怎样工作的?
一个简单有效的联合模型
近年来NLP在法律领域的相关研究工作
【论文】 NLP中命名实体识别从机器学习到深度学习的代表性研究相关推荐
- 【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究
NER是自然语言处理中相对比较基础的任务,但却是非常重要的任务.在NLP中,大部分的任务都需要NER的能力,例如,聊天机器人中,需要NER来提取实体完成对用户输入的理解:在信息提取任务中,需要提取相应 ...
- NLP的命名实体识别 -- 嵌套实体问题
NLP的命名实体识别 – 嵌套实体问题 NER是一个比较常见的NLP任务,通常采用LSTM+CRF处理一些简单NER任务.NER还存在嵌套实体问题(实体重叠问题),实体嵌套是指在一句文本中出现的实体, ...
- NLP算法-命名实体识别
命名实体识别 什么是命名实体识别? NER 研究的命名实体 NER研究目前所遇到的问题 命名实体识别的主要方法: 基于条件随机场的命名实体识别 常用的NER模型 1.Spacy NER 模型 2.斯坦 ...
- 【论文笔记】命名实体识别论文
其实实体识别这块看了挺久了的,今天就来好好聊一聊它.实体识别(Name Entity Recognition)是属于NLP任务中的序列标注问题:给定一个输入句子,要求为句子中的每一个token做实体标 ...
- NLP命名实体识别开源实战教程 | 深度应用
作者 | 小宋是呢 来源 | CSDN博客 近几年来,基于神经网络的深度学习方法在计算机视觉.语音识别等领域取得了巨大成功,另外在自然语言处理领域也取得了不少进展.在NLP的关键性基础任务-命名实体识 ...
- NLP(5) | 命名实体识别
NLP(1) | 词向量one hot编码词向量编码思想 NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词 NLP(3)| seq to seq 模型 NLP(4) | 用词向量技术简 ...
- 自然语言处理(NLP)之命名实体识别
本文将会简单介绍自然语言处理(NLP)中的命名实体识别(NER). 命名实体识别(Named Entity Recognition,简称NER)是信息提取.问答系统.句法分析.机器翻译等应用领域的重要 ...
- [NLP]OpenNLP命名实体识别(NameFinder)的使用
目录 Name Finder 模型训练 命名识别 Name Finder 命名查找器可以检测文本中的命名实体和数字.为了能够检测到实体,命名查找器需要一个模型.模型依赖于它被训练的语言和实体类型.Op ...
- 如何在实际中计划和执行一个机器学习和深度学习项目
2019-11-27 20:27:28 作者:Sayak Paul 编译:ronghuaiyang 导读 做研究打比赛和真正的做一个机器学习和深度项目是不一样的,如果你有这方面的困惑的话,可以看看这篇 ...
- 中文命名实体识别(ner)迁移学习
文章目录 1.首先将中文ner项目克隆到本地 2.去ALBERT下载中文模型 3.安装gpu运行环境 4.配置虚拟环境 5.创建命令执行脚本 6.补充说明 1.首先将中文ner项目克隆到本地 项目地址 ...
最新文章
- php设置背景图片的代码,css设置背景图片如何实现?(代码实例)
- Adobe Flash Professional cc2015中文版
- 13-爬虫之js加密,解密,混淆,逆向破解思路
- 计算机专业湖南土建中级职称考试,湖南土建专业中级职称考试,考什么内容方面...
- 无线智能路由器家长控制宽带
- 通用型CRM还是行业型CRM?-定制为王
- 学习php有多难,1.3 使用和学习PHP有多难
- Linux的nfs文件服务
- 全文搜索之 Elasticsearch
- 拓端tecdat|R语言具有Student-t分布改进的GARCH(1,1)模型的贝叶斯估计
- JAVA学生宿舍管理系统
- 你不知道的分布式锁+分布式事务面试题
- VirtualBox Linux网络配置
- 如何录制计算机上的音乐,电脑上听歌曲,怎么把它录下来呢
- 线性方程组解个数的判定和求解
- Win10 Microsoft Store无法安装程序解决方法
- c语言课程设计作业五子棋,c语言课程设计案例-五子棋.ppt
- 名编辑电子杂志大师教程 | 如何调用外部本地文件?
- android 防刷机
- PCN-224(H)金属有机骨架cas1476810-88-4|cas157542-47-7 |D-MYO-肌醇1,4,5,6-四(磷酸二氢酯)四钠盐|齐岳生物
热门文章
- python监控网页状态
- JS,Jquery获取select,dropdownlist,checkbox 下拉列表框的值
- Altium Designer(四):敷铜设置
- Java程序向MySql数据库中插入的中文数据变成了问号
- Calendar 日历类的时间操作
- (网页)JS实现alert中显示换行的方法
- ASP.NET三层架构的优点和缺点
- HttpClient中post请求http、https示例
- 干货分享:MySQL之化险为夷的【钻石】抢购风暴【转载】
- [COURSE_PTHE] 12. 黑盒网络服务器