1.jieba简介

jieba库是一款优秀的 Python 第三方中文分词库，jieba 支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点。

精确模式：
试图将语句最精确的切分，不存在冗余数据，适合做文本分析。

全模式：
将语句中所有可能是词的词语都切分出来，速度很快，但是存在冗余数据。

搜索引擎模式：
在精确模式的基础上，对长词再次进行切分，提高召回率，适合用于搜索引擎分词。

#精确模式
jieba.lcut（text, cut_all=False）#全模式
jieba.lcut(text, cut_all=True)#搜索引擎模式
jieba.lcut_for_search(text)

2.主要方法

2.1 切分方法

全模式和搜索引擎模式的区别
全模式是按照逐字遍历作为词语第一个字的方式；
搜索引擎模式只会对精确模式结果中长的词，再按照全模式切分一遍。

2.2 向切分依据的字典中添加、删除词语

方法	作用
jieba.add_word(word)	添加新的词语
jieba.del_word(word)	删除字典中已有的词语

之所以添加新的词语，是因为jieba并不能识别所有的词语，需要我们手动添加。

2.3 添加用户自定义词典

jieba.load_userdict()

这个作用和上面单个添加的作用一样，不过正这个是大批量添加，而且这个还可以增加描述性的赐予的词性。
我这里添加的一个实例

jieba.load_userdict("词典.txt")  #加载词典，补充默认词典
jieba.lcut("我来自南京飞天大学",cut_all=True)['我', '来自', '南京', '南京飞天大学', '飞天', '天大', '大学']

2.4 使用停用词

停用词就是那些语气词，口头禅之类的，对于研究并无实际贡献，需要删除。
作用原理就是在分词之后，手动遍历分词结果，看他是不是在停用词列表中，如果在，就把他删除。
可以选择手动删除，也可以使用jieba.analyse里的函数。
这里使用的是哈工大实验室构建的停用词表

因此我们还是主要掌握函数的方法，因为他处理的更干净、且方便

analyse.set_stopwords(file)  #加载停用词
analyse.extract_tags(text)  #去掉停用词

2.5 统计切分结果中的词频

这个方法不是jieba中的功能，而是在collections包中的Counter方法，
作用是统计每个词的频数。

Counter()当然还可以用于别的东西，功能就是统计频次。

以上就是jieba的基本功能，还可以把分词结果用词云图的形式展现出来。

3.文章关键词提取

3.1 extract_tags()

from jieba import analyse
file = "济南的冬天.txt"
with open(file, "r", encoding="utf-8") as fp:content = fp.read()
analyse.set_stop_words("C:/停用词/哈工大停用词.txt") #顺便去除停用词
keywords = analyse.extract_tags(content, topK=10, withWeight=False)#不显示权重
keywords['济南', '冬天', '小山', '看吧', '花衣', '水藻', '好像', '阳光', '小雪', '一道']

3.2 textrank（）

from jieba import analyse
file = "济南的冬天.txt"
with open(file, "r", encoding="utf-8") as fp:content = fp.read()
analyse.set_stop_words("C:/停用词/哈工大停用词.txt")
keywords = analyse.textrank(content, topK=10, withWeight=False,allowPOS=('ns', 'n', 'vn', 'n'))#别忘了设置需要的词性
keywords['济南', '地方', '看吧', '小雪', '日本', '花衣', '水藻', '儿暗', '团花', '村庄']

对比 TF - IDF 的结果

['济南', '冬天', '小山', '看吧', '花衣', '水藻', '好像', '阳光', '小雪', '一道']

【NLP】jieba分词相关推荐

贪心NLP——jieba分词、停用词过滤、词的标准化，词袋模型
基于结巴(jieba)的分词. Jieba是最常用的中文分词工具 import jiebaset_list=jieba.cut('中南财经政法大学在茶山刘',cut_all=False) print( ...
【NLP】jieba分词-Python中文分词领域的佼佼者
1. jieba的江湖地位 NLP(自然语言)领域现在可谓是群雄纷争,各种开源组件层出不穷,其中一支不可忽视的力量便是jieba分词,号称要做最好的 Python 中文分词组件. "最好的& ...
jieba分词_自然语言NLP必备(1)，jieba工具 5 行代码对整篇文章分词
自然语言是什么?下面来看看百度百科的介绍: 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向.它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法.自然语言处理是一门融语言学.计 ...
【NLP基础中文处理】jieba分词初级的应用，以及统计《茅山后裔》的主要人物
导入数据 # jieba分词 import jieba # jieba中文分词 import re # 正则化表达有这么一段文字 content = '''比较好的考研das教学视频, 英语推荐朱伟 ...
NLP之jieba分词原理简析
一.jieba介绍 jieba库是一个简单实用的中文自然语言处理分词库. jieba分词属于概率语言模型分词.概率语言模型分词的任务是:在全切分所得的所有结果中求某个切分方案S,使得P(S)最大. j ...
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（7）
从『词袋』到『词序列』我们之前对于文档的数字化表示,采用的是向量空间模型(例如TF-IDF),又被形象地称为『词袋』模型(Bag-of-words model).就像是把文档里的词汇,放入到以词典作 ...
如何在jieba分词中加自定义词典_中文到底需要分词嘛？
本文是香侬科技在ACL 2019发表的论文Is Word Segmentation Necessary for Deep Learning of Chinese Representations? 的介 ...
python中正则表达式与jieba分词的使用
这次和大家分享一下主要使用正则表达式匹配文本信息内容的案例,其中还用到了jieba分词词性标注技术,和一些对文本的切片工作.有兴趣学习的可以详细看看,具体内容,应该有点帮助,这是本人一个一个代码敲出来 ...
java结巴分词如何提高运行速度_结巴分词 java 高性能实现，优雅易用的 api 设计，性能优于 huaban jieba 分词...
Segment Segment 是基于结巴分词词库实现的更加灵活,高性能的 java 分词实现. 创作目的分词是做 NLP 相关工作,非常基础的一项功能. jieba-analysis 作为一款非常 ...
自然语言处理NLP中文分词，词性标注，关键词提取和文本摘要
NLP相关工具包的介绍 1.1 jieba "结巴"中文分词,理念是做最好的 Python 中文分词组件. 支持三种分词模式: (1)精确模式,试图将句子最精确地切开,适合文本分析 ...

【NLP】jieba分词

文章目录