6.Python常用第三方库—jieba库的使用（中文分词词库）

一、jieba库介绍

二、jieba库常用指令说明

1. 精确模式

2. 全模式

3. 搜索引擎模式

4. 增加新词

三、jieba库的安装

四、jieba库实例代码演示

一、jieba库介绍

jieba是优秀的中文分词第三方库。它可以对中文文本进行分词操作，产生包含词语的列表。jieba库提供了三种分词模式，支持自定义词典。

使用install命令安装jieba，实际上是在Python的安装路径的/Lib/site-packages路径下生成了一个jieba文件夹，在这个文件夹里面存放了jieba分词库所用到的词典和代码，如里面的dict.txt就是一个词典，类似的analyse文件夹下面的idf.txt也是一个词典，这是实现分词功能的基础。与之类似，会发现这个文件夹下还有好多其他的文件夹，这都是一个个跟jeba同等地位的库。再看上一层文件夹，除了site-packages外，还有好多库，这些一般都是Python默认安装的。

jieba的分词思想：维护一个中文词库，在这个词库中确立了汉字之间的关联概率，关联概率大的组成词组，这样就形成了分词的结果。

jieba有三种分词模式，分别是精确模式、全模式、搜索引擎模式。

二、jieba库常用指令说明

1. 精确模式

精确地切分文本，结果中不存在冗余的单词。

jieba.cut(str)

# coding:utf8
# jieba分词模式：精确模式
import jieba
str = '教育技术学专业'
words1 = jieba.cut(str)   # 分词后返回一个迭代器
words = jieba.lcut(str)   # 分词后返回一个列表
print(words1)
print(words)

输出结果如下

2. 全模式

将所有可能的词语都列出来，可能存在冗余的单词。

jieba.cut(str, cut_all=True)

# coding:utf8
# jieba分词模式：全模式
import jieba
str = '教育技术学专业'
words1 = jieba.cut(str, cut_all=True)   # 分词后返回一个迭代器
words = jieba.lcut(str, cut_all=True)   # 分词后返回一个列表
print(words1)
print(words)

输出结果如下

3. 搜索引擎模式

在精确模式的基础上，对长词进一步切分。

jieba.cut_for_search(str)

# coding:utf8
# jieba分词模式：搜索引擎模式
import jieba
str = '教育技术学'
words1 = jieba.cut_for_search(str)   # 分词后返回一个迭代器
words = jieba.lcut_for_search(str)   # 分词后返回一个列表
print(words1)
print(words)

输出结果如下

4. 增加新词

三、jieba库的安装

jieba是第三方库，需要额外安装。我们可以在cmd命令行中输入pip install jieba来安装第三方库。

四、jieba库实例代码演示

# coding:utf8
import jieba                 # 引入外部功能库jieba
f = open("分词文本/三国演义.txt", "r", encoding="utf-8")      # 打开文件
txt = f.read()          # 读入文本
ls = jieba.lcut(txt)    # 中文分词
d = {}
for w in ls:d[w] = d.get(w, 0) + 1
for k in d:if d[k] >= 50 and k != "\n":print('"{}"出现{}次'.format(k, d[k]))
f.close()

运行结果