基于预训练模型的军事领域命名实体识别研究

摘要

【目的】为了解决开源非结构化军事领域数据的命名实体识别问题。【方法】本文提出基于预训练模型（Bidirectional Encoder Representations from Transformers, BERT）的命名实体识别方法,首先基于预训练BERT模型生成自建开源军事语料的动态特征词向量的字符表示,然后基于双向长短期记忆网络（Bi-directional Long Short-Term Memory, BiLSTM)完成语义特征提取,最后利用条件随机场模型（Conditional Random Fields, CRF）选出最优标签序列完成实体识别的任务。【结果】模型在自建的开源军事数据集上的实验结果表明,相较于基于统计模型和神经网络的方法,本文提出的方法可使准确率提升8%,F值提高11%,召回率提高10%。【局限】由于现阶段在开源军事领域中公开标注数据集较为缺乏,所以未能在开源军事语料上训练BERT模型。【结论】但本文提出的基于预训练模型的开源军事命名实体识别方法,在一定程度上解决了边界划分问题,同时解决了在数据集不足的情况下实体识别任务表现不佳的问题。

关键词： 命名实体识别; 预训练模型; 神经网络

引言

近年来

基于预训练模型的军事领域命名实体识别研究相关推荐

基于spaCy的领域命名实体识别
基于spaCy的命名实体识别 ----以"大屠杀"领域命名实体识别研究为例作者: Dr. W.J.B. Mattingly Postdoctoral Fellow at the ...
基于深度学习的命名实体识别研究综述——论文研读
基于深度学习的命名实体识别研究综述摘要: 0引言 1基于深度学习的命名实体识别方法 1.1基于卷积神经网络的命名实体识别方法 1.2基于循环神经网络的命名实体识别方法 1.3基于Transforme ...
【综述】面向少量标注数据的命名实体识别研究
文章目录数据增强 1. 样本选择(主动学习) 2. 分类器集成(Boosting) 模型迁移 1. 共享词嵌入(预训练) 2. 共享参数特征变换 1. 特征选择 2. 特征映射知识链接 1. 基 ...
综述 | 少量标注数据下的命名实体识别研究
来自:python遇见NLP 导读近年来,深度学习方法在特征抽取深度和模型精度上表现优异,已经超过了传统方法,但无论是传统机器学习还是深度学习方法都依赖大量标注数据来训练模型,而现有的研究对少量标注 ...
xmlstreamexception 参数实体未进行声明_命名实体识别研究进展概述
Future丨Intelligence丨Nutrition丨Energy 让阅读成为习惯,让灵魂拥有温度点击关注PKUFineLab 一起进步命名实体识别研究进展概述命名实体识别任务旨在从自然 ...
【NER综述】近五年中文电子病历命名实体识别研究进展
来自:python遇见NLP 阅读综述性论文是一种能够快速了解某一领域的方法,接下来通过今年的一篇综述性论文来了解一下近五年来中文电子病历的命名实体识别研究进展. 基本的,我们应该先来了解一下两个概念 ...
近五年中文电子病历命名实体识别研究进展
原文链接: 近五年中文电子病历命名实体识别研究进展阅读综述性论文是一种能够快速了解某一领域的方法,接下来通过今年的一篇综述性论文来了解一下近五年来中文电子病历的命名实体识别研究进展. 基本的,我们应 ...
【论文笔记】《基于深度学习的中文命名实体识别研究》阅读笔记
作者及其单位:北京邮电大学,张俊遥,2019年6月,硕士论文摘要实验数据:来源于网络公开的新闻文本数据:用随机欠采样和过采样的方法解决分类不均衡问题:使用BIO格式的标签识别5类命名实体,标注11 ...
ACL 2019 开源论文 | 使用跨领域语言建模的跨领域命名实体识别
作者丨刘朋伯学校丨哈尔滨工业大学硕士生研究方向丨自然语言处理本文是西湖大学张岳老师组发表在 ACL 2019 的一篇文章,提出了一种跨领域的 NER 方法.代码已开源: https://gith ...

基于预训练模型的军事领域命名实体识别研究

引言

基于预训练模型的军事领域命名实体识别研究相关推荐

最新文章

热门文章