python分词工具，你用哪个

分词在自然语言处理中有着常见的场景，比如从一篇文章自动提取关键词就需要用到分词工具，中文搜索领域同样离不开分词，python中，有很多开源的分词工具。下面来介绍以下常见的几款。

1. jieba 分词

“结巴”分词，GitHub最受欢迎的分词工具，立志做最好的 Python 中文分词组件，支持多种分词模式，支持自定义词典。

github star：26k

代码示例

import jiebastrs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]for str in strs:seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式print("Paddle Mode: " + '/'.join(list(seg_list)))seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("精确模式: " + "/ ".join(seg_list))  # 精确模式seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print("新词识别：", ",".join(seg_list))seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))

输出：

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学【精确模式】: 我/ 来到/ 北京/ 清华大学【新词识别】：他, 来到, 了, 网易, 杭研, 大厦    (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

github地址：https://github.com/fxsjy/jieba

2. pkuseg 分词

pkuseg 是北大语言计算与机器学习研究组开源的一款分词工具，它的特点是支持多领域分词，目前支持新闻领域，网络领域，医药领域，旅游领域，以及混合领域的分词预训练模型，用户可以自由地选择不同的模型。相比通用分词工具，它的分词准确率更高。

github star：5.4k

代码示例

import pkusegseg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('python是一门很棒的语言')  # 进行分词
print(text)

输出

['python', '是', '一', '门', '很', '棒', '的', '语言']

github地址：https://github.com/lancopku/pkuseg-python

3. FoolNLTK 分词

基于BiLSTM模型训练而成，据说可能是最准的开源中文分词，同样支持用户自定义词典。

GitHub star: 1.6k

代码示例

import fooltext = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']

github地址：https://github.com/rockyzhengwu/FoolNLTK

4. THULAC

THULAC由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包。具有词性标注功能，能分析出某个词是名词还是动词或者形容词。

github star：1.5k

 代码示例1代码示例1import thulac  thu1 = thulac.thulac()  #默认模式text = thu1.cut("我爱北京天安门", text=True)  #进行一句话分词print(text) # 我_r 爱_v 北京_ns 天安门_ns代码示例2thu1 = thulac.thulac(seg_only=True)  #只进行分词，不进行词性标注thu1.cut_f("input.txt", "output.txt")  #对input.txt文件内容进行分词，输出到output.txt

github地址：https://github.com/thunlp/THULAC-Python