讨论OOV（新词，也叫未登录词，词典之外的词语）问题的解决方案

1. 解决方案

分为两部分：
1）修正领域词典：新词提取，扩充词典
2）缩小词典大小：wordpiece - 将词切分为更小粒度（将词汇拆成实义词+词根）。主要用于英文词典，因为英语的词根是有规律的。

目标：调查具体实现方案、背景知识、代码细节、比较每个方案的优点和问题、讨论适用场景。

2. 新词提取

2.1 具体实现方案

2.2 背景知识

2.3 代码细节

2.4 方案比较 & 适用场景讨论

3. wordpiece

3.1 具体实现方案

3.2 背景知识

3.3 代码细节

3.4 方案比较 & 适用场景讨论

讨论OOV（新词，也叫未登录词，词典之外的词语）问题的解决方案相关推荐

NLP-基础任务-中文分词算法(1)-基于词典：机械分词（词典字符串匹配）：前向最大匹配、后向最大匹配、双向最大匹配【OOV：基于现有词典，不能进行新词发现处理】
分词与NLP关系:分词是中文自然语言处理的基础,没有中文分词,我们对语言很难量化,进而很能运用数学的知识去解决问题.对于拉丁语系是不需要分词的. 拉丁语系与亚系语言区别拉丁语言系不需要分词,因为他们 ...
NLP-基础任务-中文分词算法(2)-基于词典：基于N-gram语言模型的分词算法【基于词典的分词方法】【利用维特比算法求解最优路径】【比机械分词精度高】【OOV：基于现有词典，不能进行新词发现处理】
例子:"经常有意见分歧" 词典:["经常","有","意见","意","见",& ...
页面无法滚动_【前端词典】滚动穿透问题的解决方案
点击上方"前端真好玩",喜欢他就关注他听说,看恺哥的文章会上瘾背景产品有三宝,弹窗,浮层加引导: 设计有三宝,透明,阴影加圆角: 运营有三宝,短信,推送加红包: 程序员有一宝 ...
请问如何判断一段文本中是否含有词典中的词语，并且把它们统计出来呀，有无大神赐教呀！！！
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一 ...
信息抽取--新词提取
(纯属为了记录自己学习的点滴过程,引用资料都附在参考列表) 1 基本概念什么是新词(是什么) 新词是一个相对的概念,每个人的标准都不一样,所以我们这里定义: 词典之外的词语(OOV)称作新词. 为什 ...
自然语言处理学习笔记（1）——词典分词
自然语言处理学习笔记(1)--词典分词一.相关定义(P32) 中文分词:将一段文本拆分为一系列单词的过程,这些单词顺序拼接后等于源文本. 词典分词:一个确定的查词与输出的规则系统,仅需要一部词典和一 ...
基于词表和N-gram算法的新词识别实验
摘要目前未登录词问题仍然很大程度上影响着自动标引和信息检索的效率.本文提出了一种选择期刊论文的题名和摘要作为训练语料,利用N-gram算法切分和停用词典等过滤筛选非专名的新词识别方法.该方法主 ...
从字到词，大词典中文BERT模型的探索之旅
导语: BERT模型自诞生以来统治了各项NLP任务的榜单,谷歌也针对中文给出了基于字的模型.然而我们知道词是语言最重要的组成部分,因此,一个自然的想法就是做基于词的BERT模型.但是受限于显存,谷歌原 ...
新词发现：中文新词识别技术简介
一.前言新词识别,也可称为未登录词识别,严格来说,新词是指随时代发展而新出现或旧词新用的词,如:给力.山寨等:而未登录词是在词典中未存在的词,但实际使用中,两者并没有严格的区分,下文均以新词指代. ...

讨论OOV（新词，也叫未登录词，词典之外的词语）问题的解决方案

1. 解决方案

2. 新词提取

3. wordpiece

讨论OOV（新词，也叫未登录词，词典之外的词语）问题的解决方案相关推荐

最新文章

热门文章