关键短语抽取及使用BERT-CRF的技术实践

BERT[23]是非常优质的预训练模型，包含了很多预训练语料中蕴含的外部知识和信息。我们以此为基础，训练BERT-CRF模型，作为candidate generation中重要的一路召回。另外的召回路包括基于模板（pattern）和基于POS tags的NP抽取系统。CRF[12]是序列标注的经典方法，其核心思想是在进行序列标注时，把序列上的各个点当做一个整体来处理，而不是一个个独立的点，各个点的标注结果是有一定依赖关系的，以路径为单位进行训练。因此，通过训练，模型能在理解文本以外，还能理解输出序列的规则性知识，比如，使用BIO标注模式时，O后面不能直接接I。如果直接使用BERT进行序列标注，最后一层的softmax，本质上是n个k分类问题；而BERT-CRF由于CRF layer的存在，本质上是1个k^n分类问题[24]。

Figure 9 BERT与BERT-CRF的对比[24]

为了验证BERT-CRF确实能够提供我们需要的鲁棒的关键短语抽取能力，我们在NER和概念图谱（抽取该应用下定义的keyphrase）两个数据集上进行了以下的实验。

NER
▫ 来源：https://github.com/zjy-ucas/ChineseNER (PER, LOC, OR)
▫ 特点：标准明确且基本固定
概念图谱中的关键短语抽取
▫ 来源
▪ 自有的标注数据（标准按照前述的两个特点：用户视角 & 精准和泛化）
▪ 训练集：来自于sourceA (网络爬取文章)
▪ 测试集：来自于sourceB (平安自有文章)

▫ 特点：存在前述的概念飘移问题

对于概念图谱的关键短语抽取，我们希望在sourceA上训练的模型，能够更好地适应于sourceB（当然，我们最终的系统是在sourceA + sourceB + all other sources训练得到的）。实验设定中训练和测试集采用不同来源，是为了在开发阶段，检验搭建的模块是否能够提供我们需要的鲁棒性。

NER数据集上的实验

https://zhuanlan.zhihu.com/p/148502336?from_voters_page=true

关键短语抽取及使用BERT-CRF的技术实践相关推荐

基于依存句法分析的关键短语抽取算法实战
由于最近在做一些无监督的关键词短语(实体)抽取工作,其实最大的背景还是没有标注好的实体识别训练数据:所以想到采用无监督的关键短语抽取算法折中去抽取一些实体,于是调研了一波关键短语抽取算法和工具.目前无 ...
NLP实践——基于SIFRank的英文关键短语抽取
NLP实践--基于SIFRank的英文关键短语抽取 1. 回顾 2. 英文关键词抽取 2.1 预训练词汇权重 2.2 分词/词性标注模型 2.3 候选短语抽取模型 2.4 编码模型 1. 回顾之前的 ...
自然语言识别python_一个快速从自然语言文本中提取和识别关键短语的工具
chinese_keyphrase_extractor (CKPE) 一个从中文自然语言文本中抽取关键短语的工具,只消耗 35M 内存 A tool for automatic keyphra ...
tfidf关键词提取_基于TextRank提取关键词、关键短语、摘要，文章排序
之前使用TFIDF做过行业关键词提取,TFIDF仅从词的统计信息出发,而没有充分考虑词之间的语义信息.TextRank考虑到了相邻词的语义关系,是一种基于图排序的关键词提取算法. TextRank的提 ...
无监督关键短语的生成问题博客02--extract.py的分析
2021SC@SDUSC 在上一篇博客中,我们小组各位成员阅读了<Unsupervised Deep Keyphrase Generation>这篇论文,了解了这一关键词抽取模型的任务与主 ...
bert+crf可以做NER，那么为什么还有bert+bi-lstm+crf ?
我在自己人工标注的一份特定领域的数据集上跑过,加上bert确实会比只用固定的词向量要好一些,即使只用BERT加一个softmax层都比不用bert的bilstm+crf强.而bert+bilstm+c ...
NLP：基于textrank4zh库对文本实现提取文本关键词、文本关键短语和文本摘要
NLP:基于textrank4zh库对文本实现提取文本关键词.文本关键短语和文本摘要目录输出结果设计思路核心代码输出结果关键词: 故宫 0.030737773083470445 镜头 0. ...
Blog5 无监督深度关键短语生成——关键代码分析3
2021SC@SDUSC 附所有代码链接:https://github.com/Jayshen0/ Unsupervised-Deep-Keyphrase-Generatio 本篇分析代码模块为:ex ...
实现关键短语提取之后根据置信度在文本中进行高亮展示
实现关键短语提取之后根据置信度在文本中进行高亮展示在前面几篇博客中,我提到了之前实现这个问题的想法,之后经过考虑打算使用js中的正则表达式实现.js的正则表达式有一个单词边界的工具,对于解决问题有很 ...

关键短语抽取及使用BERT-CRF的技术实践

NER数据集上的实验

关键短语抽取及使用BERT-CRF的技术实践相关推荐

最新文章

热门文章