python 分词工具对比_分词工具使用解析

1.现有的分词工具包

由于中文文本词与词之间没有像英文那样有空格分隔，因此很多时候中文文本操作都涉及切词，因此我上网整理了一些中文分词工具。这些分词工具大都是基于JAVA语言。

perminusminus

Stanford 汉语分词工具（Bakeoff-2两项第一）

哈工大语言云（LTP -cloud）

ICTCLAS——（Bakeoff -1两项第一）

Ansj（ICTCLAS的java实现）

庖丁解牛分词

盘古分词

IKAnalyzer

imdict-chinese-analyzer

mmseg4j

FudanNLP(复旦大学)

GooSeeker

Jcseg

jieba

SCWS

Friso

HTTPCWS

libmmseg

OpenCLAS

CRF++ （Bakeoff-3四项第一）

2.四种分词效果的比较分析

分词效果展示

3.分词工具的使用

以上的分词工具可以分为两类，在线编辑工具，无须下载安装与编程以及基于Python和Java语言编程的分词工具。

我随机选取了集搜客文本分词工具和Jieba作为分词练习的工具。

首先是集搜客文本分词工具。

我选择解析的文本是朱自清先生的《背影》。具体选择原因不展开叙述。操作较为简单，分为以下三步。

1.导入文本数据，系统会进行自动分词，得到词语列表和分词效果表。

2.筛选词语，系统自动匹配原文本。集搜客将词语列表按照词频大小排序，点击词语可以查看样本数据，筛选出有用的词，系统会自动将词语与原文本进行匹配，得到选词结果表和打标结果表

3.下载数据结果表。完成前两步之后，就可以同时下载到选词结果表、打标结果表、分词效果表三张数据表。

导入数据界面

词语筛选

选词结果

最后分词效果

集搜客分词解析工具的十分容易上手，无需编程经验即可完成对文件的分词解析，上手较快。界面直观，用户可以直接在结果页上进行随时修改，很方便。

Jieba工具使用

1）分词

结巴分词支持3中分词模式：

1，全模式：把句子中的所有可以成词的词语都扫描出来，

2，精确模式：试图将文本最精确的分开，适合于做文本分析。

3，搜索引擎模式：在精确的基础上对长词进行进一步的切分。

函数jieba.cut接受两个输入参数，第一个是将要分词的对象，第二个是采用的模式。该函数返回的是一个可以迭代的generator，可以使用for循环得到分词后得到的每一个词语。

全模式

精确模式

搜索引擎模式

下面是我编写的分词代码

import jieba

import codecs

with open('beiying.txt', 'r') as f:

for line in f:

seg = jieba.cut(line.strip(), cut_all = False)

s= '/'.join(seg)

m=list(s)

with open('results.txt','a+')as f:

for word in m:

f.write(word.encode('utf-8'))

#print word

代码调试成功后是如下结果

解析背影分词结果

词频统计结果如下：

背影词频结果图

结巴结合python代码能够较为准确快速的实现对文件的分词，但是无法针对实时代码界面对分词结果进行修改。

4.总结

jieba可以针对不同的模式返回不同的分词结果，分词结果较为准确。

集搜客则较为容易上手，但是分词效果没有jieba理想。jieba还有相应的关键词提取和文字标识、添加自定义词典等方式的选择，在文件较大，需要进行文字分词的数目较多的情况下，用jieba还是比较准确和高效。因而，集搜客比较适合与一段文字或者篇幅较小的文章进行分词解析，而jieba比较适合对系统爬虫数据的分词解析。

python 分词工具对比_分词工具使用解析相关推荐

python 分词工具对比_五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP
最近玩公众号会话停不下来: 玩转腾讯词向量:Game of Words(词语的加减游戏) ,准备把NLP相关的模块搬到线上,准确的说,搬到AINLP公众号后台对话,所以,趁着劳动节假期,给AINLP公 ...
python计算召回率_分词结果准确率、召回率计算-python
原博文 2016-06-19 13:01 − 使用python计算crf根据模型的分词结果的准确率,召回率和F值测试文件output.txt,第一列是字,第二列是人工标注的分词结果,第三列是根据模型 ...
有没有可以刷python题的软件_这个工具，30分钟可以把科研人一天的工作都给干完！...
原标题:这个工具,30分钟可以把科研人一天的工作都给干完! 一入科研深似海,每逢返校倍忧桑. 被 paper 和发际线上移支配的恐惧要回来了--一个假发片还够用吗? 1 文献看到眼花,科研热点总是无缘 ...
工具对比_模拟慢网速环境
出于工作需要,有时候需要模拟用户的慢网速对产品做进一步测试&优化,目前有三个软件可以模拟慢网速:Fiddler,NetLimiter,Network Delay Simulator.应该还有更 ...
python软件安装步骤-初学者python详细安装步骤_编程工具
前言: 随着人工智能的快速发展,python语言越来越受大家的欢迎,目前Python官网已经更新到了最新版Python 3.7.2,这里详细介绍python安装,希望会对大家有所帮助,欢迎留言提问. ...
工具用途_小工具大用途：万能扳手、开瓶器、开箱器，DIY16种用法，玩过吗
小工具大用途,用法1:轻松开瓶盖小工具大用途,用法2:一字螺丝刀,拧螺丝很轻松小工具大用途,用法3:十字螺丝刀,轻松拧螺丝小工具大用途,用法4:轻松撬罐头盖小工具大用途,用法5:开箱如此简单, ...
bi工具选型_数据分析工具：选合适了，分析也能事半功倍
前言哪款分析工具比较适合企业做分析?如果企业没有深入了解可能会被市面上漫天的产品广告所淹没,毕竟广告上写的都是可直接对接某某ERP系统的宣言,但深究发现其实背后可能还隐藏了一层:依靠IT工作者写代码 ...
dateutils 工具类_五金工具泡壳封边机
宁波顺德科技有限公司为您详细解读WViDaf五金工具泡壳封边机的相关知识与详情,常见型号热合机型号可分为:HQ-5KW,HQ-8KW,HQ-15KW,HQ-25KW等通例型号. 工做本理热合机工做 ...
java 正则工具类_正则表达式工具类，正则表达式封装，Java正则表达式
正则表达式工具类正则表达式封装 Java正则表达式 >>>>>>>>>>>>>>>>>>& ...

python 分词工具对比_分词工具使用解析

python 分词工具对比_分词工具使用解析相关推荐

最新文章

热门文章