jieba库概述（jieba是优秀的中文分词第三分库）

中文文本需要通过分词获得单个的词语
jieba是优秀的中文分词第三方库，需要额外安装
jieba库提供三种分词模式，最简单只需要掌握一个函数

jieba库的安装

（cmd命令行）pip install jieba
（导入）import jieba
（查看版本）jieba.__version__

jieba分词的原理（jieba分词依靠中文词库）

利用一个中文词库，确定汉字之间的关联概率
汉字间概率大的组成词组，形成分词结果
除了分词，用户还可以添加自定义的词组

jieba分词的三种模式

精确模式：把文本精确的切分开，不存在冗余单词
全模式：把文本中所有可能的词语都扫描出来，有冗余
搜索引擎模式：在精确模式基础上，对长词再次切分

函数	描述
jieba.cut(s)	精确模式，返回一个可迭代的数据类型
jieba.cut(s,cut_all=True)	全模式，输出文本s中所有可能单词
jieba.cut_for_search(s)	搜索引擎模式，适合搜索引擎建立索引的分词结果
jieba.lcut(s)	精确模式，返回一个列表类型，建议使用
jieba.lcut(s,cut_all=True)	全模式，返回一个列表类型，建议使用
jieba.lcut_for_search(s)	搜索引擎模式，返回一个列表类型，建议使用
jieba.add_word(w)	向分词词典中增加新词W
jieba.del_word(w)	从分词词典中删除词汇W

使用自定义词典（按照自己定义的分词保存）

load_uaerdict(file_name)# 一词一行

ss = "你是想红寺湖但行好事时尚先生"
jieba.lcut(ss)
>>>['你', '是', '想', '红寺', '湖', '但行好事', '时尚', '先生']

jieba.load_userdict("F:\\dict.txt")

jieba.lcut(ss)
>>>['你是想红寺湖', '但行好事', '时尚先生']

去除停用词(分词后去停用词)

sss = '成本价大白菜不饿厚度恶化打电话补偿金活动IC不能简单菜农ID那次军坡节噢紧凑级'
jieba.lcut(sss)
>>>['成本价','大白菜','不饿','厚度','恶化','打电话','补偿金','活动','IC','不能','简单','菜农','ID','那次','军坡节','噢','紧凑','级']

wordlist = jieba.lcut(sss)
newlist = [word for word in wordlist if word not in ['噢','级']]

print(newlist)
>>>['成本价', '大白菜', '不饿', '厚度', '恶化', '打电话', '补偿金', '活动', 'IC', '不能', '简单', '菜农', 'ID', '那次', '军坡节', '紧凑']

用extract_tags函数去除停用词

jieba.analyse.set_stop_words()

import jieba.analyse as ana
ana.set_stop_words('F:\\停用词.txt')

sentence="湖北经济学院大数据专业的同学棒棒哒！"
ana.extract_tags(sentence)
>>>['棒棒', '同学', '湖北', '学院', '专业', '数据', '经济']

sentence="必须is彼此的hi哦好的次哦红血丝红寺湖细搜呼吸声"
ana.extract_tags(sentence)
>>>['红血丝', '红寺', '湖细', '呼吸声']

词性标注

标识	种类
Ag	形语素
a	形容词
ad	副形词
Dg	副语素
d	副词
m	数词
Ng	名语素
n	名词
nr	人名
Vg	动语素
v	动词
vn	名动词

nce="必须is彼此的hi哦好的次哦红血丝红寺湖细搜呼吸声"
psg.lcut(sentence)
>>>[pair('必须', 'd'),pair('is', 'eng'),pair('彼此', 'r'),pair('的', 'uj'),pair('hi', 'eng'),pair('哦', 'e'),pair('好', 'a'),pair('的', 'uj'),pair('次', 'q'),pair('哦', 'e'),pair('红血丝', 'n'),pair('红寺湖', 'nr'),pair('细', 'a'),pair('搜', 'v'),pair('呼吸声', 'n')]

jieba库基本介绍（中文分词）相关推荐

Python jieba库的介绍与使用
Python jieba库的介绍与使用一. jieba库简介与安装简介:jieba库是一个进行中文分词的第三方库.可用来进行关键字搜索. 安装:在python3环境下输入:pip install ...
jieba:一款为中文分词而生的Python库
中文分词,通俗来说,就是将一句(段)话按一定的规则(算法)拆分成词语.成语.单个文字. 中文分词是很多应用技术的前置技术,如搜索引擎.机器翻译.词性标注.相似度分析等,都是先对文本信息分词处理,再用分 ...
使用jieba和wordcloud进行中文分词并生成《悲伤逆流成河》词云
因为词云有利于体现文本信息,所以我就将那天无聊时爬取的<悲伤逆流成河>的评论处理了一下,生成了词云. 关于爬取影评的爬虫大概长这个样子(实际上是没有爬完的): #!/usr/bin/env ...
python机器学习库教程——结巴中文分词
全栈工程师开发手册 (作者:栾鹏) python教程全解结巴中文分词安装: pip install jieba 特点: 支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析: 全模式 ...
python jieba库_python中jieba库的介绍和应用
jieba库作为python中的第三方库,在平时是非常实用的,例如一些网站就是利用jieba库的中文分词搜索关键词进行工作. 一.安装环境 window + python 二.安装方式在电脑命令符( ...
基于PSCWS4词库的PHP中文分词工具
词库官方网址:http://www.xunsearch.com/scws/ 这是用纯 PHP 代码实现的 C 版 Libscws 的全部功能,即第四版的 PSCWS PSCWS4 使用文档:http: ...
jieba库——红楼梦名字分词
jieba分词的三种模式精确模式:把文本精确的切分开,不存在冗余单词全模式:把文本中所有可能的词语都扫描出来,有冗余搜索引擎模式:在精确模式基础上,对长词再次切分函数描述 jieba.cu ...
与自定义词典分词_使用jieba库进行中文分词、关键词提取、添加自定义的词典进行分词...
jieba库在中文分词中很常用,做一个简单的介绍和运用~ 需求1:打开本地的十九大报告文本,并采用jieba分词器进行分词,最后将分词结果存入名为segresult的文本文件中. 注释:①jieba库 ...
6.Python常用第三方库—jieba库的使用（中文分词词库）
目录一.jieba库介绍二.jieba库常用指令说明 1. 精确模式 2. 全模式 3. 搜索引擎模式 4. 增加新词三.jieba库的安装四.jieba库实例代码演示一.jieb ...

jieba库基本介绍（中文分词）

jieba库概述（jieba是优秀的中文分词第三分库）

jieba库的安装

jieba分词的原理（jieba分词依靠中文词库）

jieba分词的三种模式

使用自定义词典（按照自己定义的分词保存）

去除停用词(分词后去停用词)

用extract_tags函数去除停用词

词性标注

jieba库基本介绍（中文分词）相关推荐

最新文章

热门文章