Ansj分词双数组Trie树实现与arrays.dic词典格式

http://www.hankcs.com/nlp/ansj-word-pairs-array-tire-tree-achieved-with-arrays-dic-dictionary-format.html

arrays.dic是一个双数组Trie树格式的词典，用文本的形式储存了索引，字串，base，check，status与词性。

一个直观的图示：

index就是base数组中的下标。

term是词的当前状态，不一定代表一个词，如“一举一”是“一举一动”的前缀。

base是base数组的值。代表字串的当前状态，其实就是字串一路按base[tx] = base[t] + x查过来的值。比如base[一举一动] = base[一举一] + code(动)。特别地，如果字串长度为1的话（字符），那么base值就是字符的双字节码。

check是check数组的值。check是用来验证这个词是从哪个状态转换过来的。比如是由转换过来的。base[105540] + 21160 = 126700.

status是term的成词状态：1:继续 2:是个词语但是还可以继续 3:确定。参考。

nature是这个词以这些词性出现的频次。

转载请注明：码农场 » Ansj分词双数组Trie树实现与arrays.dic词典格式

转载于:https://www.cnblogs.com/DjangoBlog/p/4073062.html

Ansj分词双数组Trie树实现与arrays.dic词典格式相关推荐

双数组Trie树(DoubleArrayTrie)Java实现
http://www.hankcs.com/program/java/%E5%8F%8C%E6%95%B0%E7%BB%84trie%E6%A0%91doublearraytriejava%E5%AE ...
双数组trie树的基本构造及简单优化
一基本构造 Trie树是搜索树的一种,来自英文单词"Retrieval"的简写,可以建立有效的数据检索组织结构,是中文匹配分词算法中词典的一种常见实现.它本质上是一个确定的有限状 ...
python Trie树和双数组TRIE树的实现. 拥有3个功能:插入,删除,给前缀智能找到所有能匹配的单词...
#coding=utf-8 #字典嵌套牛逼,别人写的,这样每一层非常多的东西,搜索就快了,树高26.所以整体搜索一个不关多大的单词表 #还是O(1). ''' Python 字典 setdefault ...
双数组trie树详解
目录双数组trie树的构建构建base array 构建check array 双数组trie树的查询双数组trie树的构建 NLP中trie树常用于做快速查询,但普通的trie树由于要保存大量 ...
关于双数组Trie查询词典构造总结
原贴:http://www.firtex.org/firtex_forum/archiver/?tid-241.html FirteX开发论坛 » FirteX开发者专区 » 关于双数组Trie查询词 ...
用Python实现字典树(Trie)与双数组字典树(DATrie)
1. 字典树(Trie) 假如我们把字典中的词以记录的形式(无序)存入数据库中.现给定一串字符,要查找该字符串是否为字典中的词.因为数据库中的记录是无序的,所以,最朴素的方法就逐记录匹配.此方法简单, ...
Kiner算法刷题记（二十一）：字典树与双数组字典树（数据结构基础篇）
字典树与双数组字典树(数据结构基础篇) 系列文章导引系列文章导引开源项目本系列所有文章都将会收录到GitHub中统一收藏与管理,欢迎ISSUE和Star. GitHub传送门:Kiner算法算题 ...
双数组Trie的一种实现
An Implementation of Double-Array Trie 双数组Trie的一种实现原文:http://linux.thai.net/~thep/datrie/datrie.htm ...
字典树与双数组字典树
树的节点代表集合树的边代表关系字典树代码查找代码 #include<iostream> #include<cstdio> #include<queue> #i ...

Ansj分词双数组Trie树实现与arrays.dic词典格式

Ansj分词双数组Trie树实现与arrays.dic词典格式相关推荐

最新文章

热门文章