【项目调研+论文阅读】基于BERT的中文命名实体识别方法[J] | day6

2024-05-04 12:49:25

《基于BERT的中文命名实体识别方法》王子牛 2019-《计算机科学》

文章目录

一、相关工作
二、具体步骤
- 1.Bi-LSTM
- 2.CRF结构
三、相关实验
- 1.数据集
- 2.参数设置
- 3.实验结果

利用大规模未标注语料对bert行训练，获取文本抽象特征；
利用Bi-LSTM神经网络获取序列化文本的上下文抽象特征；
通过条件随机场CRF进行序列解码标注，提取出相应的实体。

一、相关工作

二、具体步骤

1.Bi-LSTM

采用Graves等提出的改进了LSTM模型中记忆单元和门限机制的版本。

2.CRF结构

替代softmas实现分类。条件随机场CRF能考虑标签序列的全局信息，实现更好的预测。

三、相关实验

1.数据集

1998年人民日报语料。已经分好词，标注了人名、地名、机构名等信息。

使用三元标记集{B,I,O}。Ｂ表示实体的第一个词，Ｉ表示机构名的其余词，Ｏ表示不属于机构名的词。人名记为 PER，人名的开始记为B-PER；地名记为LOC，地名的开始记为 B-LOC；机构名记为ORG，机构名的开始记为B-ORG。

六月份数据为测试集，1-5月份为训练集。

2.参数设置

Tensorflow搭建。
输入维度seq-length=128
训练集的batchsize=64
测试集的batchsize=8
训练learningrate=2×10e-5
防止训练中出现梯度爆炸，使用梯度夹子，设置参数=5
使用droupout防止过拟合，设为0.5

3.实验结果

【项目调研+论文阅读】基于BERT的中文命名实体识别方法[J] | day6相关推荐

论文浅尝 | 利用Lattice LSTM的最优中文命名实体识别方法
本文转载自公众号:机器之心. 选自arXiv 作者:Yue Zhang.Jie Yang 机器之心编译参与:路.王淑婷近日,来自新加坡科技设计大学的研究者在 arXiv 上发布了一篇论文,介绍了一 ...
【项目实战课】基于BiLSTM+CRF的命名实体识别实战
欢迎大家来到我们的项目实战课,本期内容是<基于BiLSTM+CRF的命名实体识别实战>.所谓项目课,就是以简单的原理回顾+详细的项目实战的模式,针对具体的某一个主题,进行代码级的实战讲解. ...
第15课：基于 CRF 的中文命名实体识别模型实现
命名实体识别在越来越多的场景下被应用,如自动问答.知识图谱等.非结构化的文本内容有很多丰富的信息,但找到相关的知识始终是一个具有挑战性的任务,命名实体识别也不例外. 前面我们用隐马尔可夫模型(HMM) ...
【项目调研+论文阅读】（目录）中文实体识别研究方法综述 day6
文章目录一.基于词典和规则的方法二.基于统计机器学习的方法 1.隐马尔可夫模型(HiddenMarkovMode,HMM)的方法 2.基于最大熵(MaxmiumEntropy)的方法 3.基 ...
基于BERT预训练的中文命名实体识别TensorFlow实现
BERT-BiLSMT-CRF-NER Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tun ...
基于深度学习的命名实体识别研究综述——论文研读
基于深度学习的命名实体识别研究综述摘要: 0引言 1基于深度学习的命名实体识别方法 1.1基于卷积神经网络的命名实体识别方法 1.2基于循环神经网络的命名实体识别方法 1.3基于Transforme ...
中文命名实体识别---基于多特征融合嵌入
来源: AINLPer 微信公众号(每日更新-) 编辑: ShuYini 校稿: ShuYini 时间: 2021-11-18 昨天给大家分享的是一篇EMNLP2021关于关系提取的文章,文章中将关系 ...
命名实体：中文命名实体识别简介
一.概念 1.实体一切具有特定属性集合的物体都可以称为实体. 2.命名实体一般包括三大类(实体类.时间类.数字类),七小类(人名.机构名.地名.时间.日期.货币和百分比). 3.命名实体识别过程 ...
NLP之中文命名实体识别
在MUC-6中首次使用了命名实体(named entity)这一术语,由于当时关注的焦点是信息抽取(information extraction)问题,即从报章等非结构化文本中抽取关于公司活动和国防相 ...

最新文章

热门文章