中文分词，通俗来说，就是将一句(段)话按一定的规则(算法)拆分成词语、成语、单个文字。

中文分词是很多应用技术的前置技术，如搜索引擎、机器翻译、词性标注、相似度分析等，都是先对文本信息分词处理，再用分词结果来搜索、翻译、对比等。

在Python中，最好用的中文分词库是jieba。用“结巴”给一个中文分词库命名，非常生动形象，同时还带有一种程序员式的幽默感。

最好的Python中文分词组件

“结巴”中文分词：做最好的Python中文分词组件

这是jieba分词的slogan，打开jieba分词的GitHub、PyPI源，都会在简介里看到这句标语。这充分体现了jieba开发团队的愿景和目标，在目前看来，jieba已经称得上最好的Python中文分词库。

2022年4月写本文时，jieba在GitHub上已经获得了28.3K的Star，而且数量正在快速增长，足够证明jieba的受欢迎程度非常高。

jieba除了有Python语言的版本，也有C++、JAVA、iOS等十几门编程语言的版本，从PC端到移动端，都可以支持。这点值得给jieba的维护团队点赞，说不定未来，jieba可以做所有语言里最好的中文分词组件。

jieba的使用方法

Step1. 安装jieba

pip install jieba

jieba是第三方库，需要先安装才能使用，直接使用pip安装即可，jieba兼容Python2和Python3，安装命令都一样。如果安装慢，可以添加-i参数指定镜像源。

Step2. 调用jieba进行分词

import jiebatest_content = '迅雷不及掩耳盗铃儿响叮当仁不让世界充满爱之势'
cut_res = jieba.cut(test_content, cut_all=True)
print(list(cut_res))

运行结果：

['迅雷', '迅雷不及', '迅雷不及掩耳', '不及', '掩耳', '掩耳盗铃',
'儿', '响叮当', '叮当', '当仁不让', '不让', '世界', '充满', '爱','之', '势']

jieba分词的使用非常简单，直接导入jieba库，调用cut()方法，传入需要切分的内容，即可返回分词结果。返回结果是一个可迭代的生成器generator，可以进行遍历，也可以转换成list打印出结果。

jieba分词的四种模式

jieba分词支持四种分词模式：

1.精确模式

试图将句子最精确地切开，适合文本分析。

cut_res = jieba.cut(test_content, cut_all=False)
print('[精确模式]：', list(cut_res))
cut_res = jieba.cut(test_content, cut_all=False, HMM=False)
print('[精确模式]：', list(cut_res))

[精确模式]： ['迅雷不及', '掩耳盗铃', '儿响', '叮', '当仁不让',
'世界', '充满', '爱之势']
[精确模式]： ['迅雷不及', '掩耳盗铃', '儿', '响', '叮', '当仁不让','世界', '充满', '爱', '之', '势']

精确模式是最常用的分词模式，分词结果不存在冗余数据。

HMM参数默认为True，根据HMM模型（隐马尔可夫模型）自动识别新词。如上面的例子中，HMM为True，结果中将“儿响”、“爱之势”识别成了新词，HMM为False，这些字只能单独成词，分成单个文字。

2.全模式

把句子中所有可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义。

cut_res = jieba.cut(test_content, cut_all=True)
print('[全模式]：', list(cut_res))

[全模式]： ['迅雷', '迅雷不及', '迅雷不及掩耳', '不及', '掩耳', '掩耳盗铃',
'儿', '响叮当', '叮当', '当仁不让', '不让', '世界', '充满', '爱', '之', '势']

全模式从待分词内容的第一个字开始遍历，将每一个字作为词语的第一个字，返回所有可能的词语，会重复利用词语和字，因此也可能会出现多种含义。

cut_all参数默认为False，即默认不是全模式，将cut_all设置为True，则采用全模式分词。

3.搜索引擎模式

在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

cut_res = jieba.cut_for_search(test_content)
print('[搜索引擎模式]：', list(cut_res))

[搜索引擎模式]： ['迅雷', '不及', '迅雷不及', '掩耳', '掩耳盗铃', '儿响',
'叮', '不让', '当仁不让', '世界', '充满', '爱之势']

搜索引擎模式在精确模式的基础上，对精确模式中的长词，再按照全模式进一步分词，用于搜索时可以匹配到更多的结果。

4.paddle模式

利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。

paddle模式使用需先安装paddlepaddle-tiny，安装命令：pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本，请升级jieba，pip install jieba --upgrade .

上面是官方的描述，但是，当前已经找不到paddlepaddle-tiny镜像源了，感兴趣可以去PaddlePaddle官网找找方法。

通常不会使用到paddle模式，所以我们了解前面三种模式即可。

5.小结

cut()方法有四个参数，sentence接收待分词的内容；cut_all设置是否使用全模式；HMM设置是否使用HMM模型识别新词；use_paddle设置是否使用panddle模式。

cut_for_search()有两个参数，sentence和HMM。

cut()和cut_for_search()都是返回generator，如果想直接返回列表，可以使用对应的lcut()和lcut_for_search()，用法完全相同。

自定义分词词典

使用jieba分词时，分词结果需要与jieba的词典库进行匹配，才能返回到分词结果中。因此有些词需要用户自定义，才能识别到。

1.添加自定义词语到词典中

jieba.add_word('铃儿响叮当')
jieba.add_word('让世界充满爱')
jieba.add_word('迅雷不及掩耳之势')
lcut_res = jieba.lcut(test_content, cut_all=True, HMM=False)
print('[添加自定义词语]：', lcut_res)

[添加自定义词语]： ['迅雷', '迅雷不及', '迅雷不及掩耳', '不及', '掩耳', '掩耳盗铃','铃儿响叮当', '响叮当', '叮当', '当仁不让', '不让', '让世界充满爱', '世界', '充满', '爱', '之', '势']

add_word()有三个参数，分别是添加的词语、词频和词性，词频和词性可以省略。

添加自定义词语后，自定义词语如果能匹配到，就会返回到分词结果中。如果自定义词语在待分词语句中没有连续的匹配结果，分词结果中不会体现。

2.添加指定的文件作为分词词典

自定义词典格式要和默认词典dict.txt一样，一个词占一行，每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name若为路径或二进制方式打开的文件，则文件必须为UTF-8编码。

本文自定义一个mydict.txt文本文件，内容如下：

迅雷不及掩耳之势 3 a
掩耳盗铃 3 a
铃儿响叮当 3 a
当仁不让 3 a
让世界充满爱 3 n

文件编码要设置成UTF-8，在PyCharm可以点击File>Settings>File Encodings，将Global Encoding和Project Encoding设置成UTF-8。

然后使用load_userdict()加载自定义词典。

jieba.load_userdict('mydict.txt')
lcut_res = jieba.lcut(test_content, cut_all=True, HMM=False)
print('[使用自定义词典]：', lcut_res)

[使用自定义词典]： ['迅雷', '迅雷不及', '迅雷不及掩耳', '不及', '掩耳', '掩耳盗铃',
'铃儿响叮当', '响叮当', '叮当', '当仁不让', '不让', '让世界充满爱', '世界',
'充满', '爱', '之', '势']

使用了自定义词典，会同时根据jieba的默认词典和自定义词典进行分词。添加自定义词典和添加单个词语的效果一样，区别是可以批量添加，而不用重复调用add_word()。

3.从词典中删除词语

jieba.del_word('不及')
jieba.del_word('不让')
jieba.del_word('之')
lcut_res = jieba.lcut(test_content, cut_all=True, HMM=False)
print('[删除词语]：', lcut_res)

[删除词语]： ['迅雷', '迅雷不及', '迅雷不及掩耳', '掩耳', '掩耳盗铃', '儿',
'响叮当', '叮当', '当仁不让', '世界', '充满', '爱', '之', '势']

删除的词语一般是语气助词、逻辑连接词等，这些词对于文本分析没有实际意义，反而会成为干扰。

在设置删除的词语后，结果中不再有删除的词语，但对于单个字，会独立成词，所以删除后在结果中也还存在。

4.调整词语的词频

调整词语的词频，调整其在结果中被分出来的可能性，使分词结果满足预期。分两种情况，一种是将分词结果中的一个长词拆分成多个词，另一种是将分词结果中的多个词组成一个词。

lcut_res = jieba.lcut(test_content, cut_all=False, HMM=False)
print('[设置前]：', lcut_res)
jieba.suggest_freq('让世界充满爱', True)
lcut_res = jieba.lcut(test_content, cut_all=False, HMM=False)
print('[设置后]：', lcut_res)

[设置前]： ['迅雷不及', '掩耳盗铃', '儿', '响', '叮', '当仁不让', '世界', '充满', '爱', '之', '势']
[设置后]： ['迅雷不及', '掩耳盗铃', '儿', '响叮当', '仁', '不', '让世界充满爱', '之', '势']

suggest_freq()有两个参数，segment参数表示分词的片段，如果是将一个词拆开，则传入拆开后的元组，如果是指定某个词要作为一个整体，则传入字符串；tune参数为True，则调整词语的词频。

注意：自动计算的词频在使用HMM新词发现功能时可能无效。

关键词提取

关键词提取使用jieba中的analyse模块，基于两种不同的算法，提供了两个不同的方法。

1.基于TF-IDF算法的关键词提取

from jieba import analysekey_word = analyse.extract_tags(test_content, topK=3)
print('[key_word]：', list(key_word))
key_word = analyse.extract_tags(test_content, topK=3, withWeight=True)
print('[key_word]：', list(key_word))

[key_word]： ['迅雷不及', '儿响', '爱之势']
[key_word]： [('迅雷不及', 1.7078239289857142), ('儿响', 1.7078239289857142), ('爱之势', 1.7078239289857142)]

extract_tags()方法有四个参数，sentence为待提取的文本；topK为返回最大权重关键词的个数，默认值为20；withWeight表示是否返回权重，是的话返回(word, weight)的list，默认为False；allowPOS为筛选指定词性的词，默认为空，即不筛选。

2.基于TextRank算法的关键词提取

key_word = analyse.textrank(test_content, topK=3)
print('[key_word]：', list(key_word))
allow = ['ns', 'n', 'vn', 'v', 'a', 'm', 'c']
key_word = analyse.textrank(test_content, topK=3, allowPOS=allow)
print('[key_word]：', list(key_word))

[key_word]： ['儿响', '世界']
Prefix dict has been built successfully.
[key_word]： ['充满', '儿响', '世界']

textrank()方法与extract_tags()方法用法相似，需要注意的是allowPOS有默认值(‘ns’, ‘n’, ‘vn’, ‘v’)，默认筛选这四种词性的词，可以自己设置。其他参数都与extract_tags()方法相同。

词性标注

词性标注使用jieba中的posseg模块，标注分词后每个词的词性，采用和ictclas兼容的标记法。

from jieba import possegpos_word = posseg.lcut(test_content)
print(pos_word)

[pair('迅雷不及', 'i'), pair('掩耳盗铃', 'i'), pair('儿响', 'n'),pair('叮', 'v'), pair('当仁不让', 'i'), pair('世界', 'n'), pair('充满', 'a'), pair('爱', 'v'), pair('之', 'u'), pair('势', 'ng')]

posseg.lcut()有两个参数，sentence和HMM。

词性和词性标签参考下表：

返回词语在原文的起止位置

返回词语在原文的起止位置使用jieba中的Tokenize模块，实际调用时使用tokenize()方法。

res = jieba.tokenize(test_content)
for r in res:if len(r[0]) > 3:print('word:{}\t start:{}\t end:{}'.format(*r))elif len(r[0]) > 1:print('word:{}\t\t start:{}\t end:{}'.format(*r))else:print('word:{}\t\t\t start:{}\t end:{}'.format(*r))

word:迅雷不及  start:0   end:4
word:掩耳盗铃  start:4   end:8
word:儿响      start:8   end:10
word:叮       start:10  end:11
word:当仁不让  start:11  end:15
word:世界      start:15  end:17
word:充满      start:17  end:19
word:爱之势    start:19  end:22

tokenize()方法有三个参数，unicode_sentence为待分词内容，注意，只接受unicode编码内容；mode参数为指定分词模式，如需要使用搜索引擎模式，则设置mode=‘search’；HMM默认为True。

Python常用中文分词库：jieba相关推荐

Python：中文分词库jieba安装使用
hello,大家好,我是wangzirui32,今天我们来学习jieba中文分词库如何安装使用. 开始学习吧! 1. pip安装命令: pip install jieba 没有报错即为安装成功. 2 ...
Python中文分词库——jieba的用法
1.介绍 jieba是优秀的中文分词第三方库.由于中文文本之间每个汉字都是连续书写的,我们需要通过特定的手段来获得其中的每个单词,这种手段就叫分词.而jieba是Python计算生态中非常优秀的中文分 ...
6.Python常用第三方库—jieba库的使用（中文分词词库）
目录一.jieba库介绍二.jieba库常用指令说明 1. 精确模式 2. 全模式 3. 搜索引擎模式 4. 增加新词三.jieba库的安装四.jieba库实例代码演示一.jieb ...
python 常用库简介
1 Scipy Scipy 是一个用于数学.科学.工程领域的常用软件包,可以处理插值.积分.优化.图像处理.常微分方程数值解的求解.信号处理等问题.它用于有效计算 Numpy 矩阵,使 Numpy 和 ...
MAC解决Python绘图中文无法显示问题
一.问题解析问题说明:电脑上安装了Python3.8,最近遇到绘图,无法将中文标签显示,显示为空白方框. 原因:matplotlib默认的字体为英文字体,导致许多unicode编码的语言文字都无法书 ...
jieba 同义词_中文分词库FNLP与jieba的安装与使用
本篇讲述FNLP自然语言处理库和jieba中文分词库的安装与使用,FNLP自然语言处理库适合Java开发者学习中文分词处理,jieba中文分词库适合Python开发者学习中文分词处理.通过本篇的学习, ...
python文本分析的开源工具_共有11款Python 中文分词库开源软件
"哑哈"中文分词,更快或更准确,由你来定义.通过简单定制,让分词模块更适用于你的需求. "Yaha" You can custom your Chinese W ...
【python】关于控制台的中文输出出现\x形式的问题 python常用包与如何安装
关于控制台的中文输出出现\x形式的问题一般是python2导致的参考 [https://www.cnblogs.com/xiaoqi/p/5101795.html] [python常用包] [参考 ...
Python中文分词 jieba 十五分钟入门与进阶
文章目录整体介绍三种分词模式与一个参数关键词提取中文歧义测试与去除停用词三种可以让分词更准确的方法并行计算整体介绍 jieba 基于Python的中文分词工具,安装使用非常方便,直接pi ...
python中文分词---jieba
原文地址:http://blog.csdn.net/sherlockzoom/article/details/44566425 jieba "结巴"中文分词:做最好的 Python ...

Python常用中文分词库：jieba