Stanford的Chinese Segmenter

测试了一下它的速度，比中科院的ictclas4j快不少，测试了100个文件。忘了统计字符数了，懒得弄了，反正比较相对速度。

ictclas4j为：

10-best 239s
1-best 99s

而Stanford的61s

当然两个工具包都没有计算加载时间。ictclas4j的加载时间很短，只要加载字典就可以了。

而Stanford的模型就有200多M，加载比较慢一点，对内存要求比较高，运行它至少1g。不过加载只要一次就够了，所以无所谓。

Stanford的Chinese Segmenter相关推荐

stanford corenlp的TokensRegex
最近做一些音乐类.读物类的自然语言理解,就调研使用了下Stanford corenlp,记录下来. 功能 Stanford Corenlp是一套自然语言分析工具集包括: POS(part of spe ...
Stanford Corenlp中文分词自定义词典（扩展词典）
Stanford Corenlp是斯坦福大学的自然语言处理工具,其中中文分词是基于条件随机场CRF (Conditional Random Field) ,不是基于字典的直接匹配.最近调用Stanfo ...
自然语言处理领域重要研究及资源全索引！
来源:机器之心作者:Kyubyong Park 本文长度为3071字,建议阅读6分钟本文为你整理自然语言处理最新深度研究成果. 自然语言处理(NLP)是人工智能研究中极具挑战的一个分支.随着深度学 ...
python做啥用-你都用 Python 来做什么？
Python很强大,也是做大数据分析的工具之一做文本分析用Python也很顺手举个实例,展示下如何使用Python做文本分析的目前文本分析在现实生活中有着广泛的应用,大家最熟悉的莫过于以Goog ...
自然语言处理常用工具
2019独角兽企业重金招聘Python工程师标准>>> NLP常用工具各种工具包的有效利用可以使研究者事半功倍. 以下是NLP版版友们提供整理的NLP研究工具包. 同时欢迎大家 ...
自然语言处理NLP常用开源/免费工具
NLP常用开源/免费工具 (转载自水木社区NLP版) *Computational Linguistics Toolbox CLT http://complingone.georgetown.ed ...
r与python自然语言处理_Python自然语言处理实践: 在NLTK中使用斯坦福中文分词器 | 我爱自然语言处理...
斯坦福大学自然语言处理组是世界知名的NLP研究小组,他们提供了一系列开源的Java文本分析工具,包括分词器(Word Segmenter),词性标注工具(Part-Of-Speech Tagger), ...
GitHub项目：自然语言处理领域的相关干货整理
GitHub项目:自然语言处理领域的相关干货整理自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域.本文作者为NLP初学者整理了一份庞大的自然语言处 ...
常用的开源中文分词工具
转载自: http://www.scholat.com/vpost.html?pid=4477 常用的开源中文分词工具由于中文文本词与词之间没有像英文那样有空格分隔,因此很多时候中文文本操作都涉及 ...

Stanford的Chinese Segmenter

Stanford的Chinese Segmenter相关推荐

最新文章

热门文章