中文分词

结巴的中文分词支持3种模式

精确模式：试图将句子最精确地切开，适合文本分析。
**全模式：**把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义问题。
**搜索引擎模式：**在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

例子：

import  jiebaseg_list = jieba.cut(s)  #默认是精确模式
print("Default Mode:",'/'.join(seg_list))s = '我来到新华大学'
seg_list = jieba.cut(s,cut_all=True) #全模式
print("Full Mode:",'/'.join(seg_list))seg_list = jieba.cut_for_search(s) #搜索引擎模式
print("搜索引擎模式:",'/'.join(seg_list))

结果：

Full Mode: 我/来到/新华/华大/大学
Default Mode: 我/来到/新华/大学
搜索引擎模式: 我/来到/新华/大学

jieba.cut

第一个参数为需要分词的字符串。
cut_all用来控制分词的模式

jieba.cut()返回的是一个可以迭代的生成器，可以用for循环来获得分词得到得每一个词语，也可以用list(jieba.cut(...))转化为列表。

jieba 自定义词典

基本用法如下：

jieba.load_userdict(file_name) # file_name 为自定义词典的路径

词典格式是一个词占一行；每一行分三部分，一部分为词语，另一部分为词频，最后一部分为词性(可省略，jieba的词性标注方式和ICTCLAS的标注方式一样。ns为地点名词，nz为其他专用名词，a是形容词，v是动词，d是副词)，三部分用空格隔开。例如下面自定义词典

云计算 5
太和宫 5 ns
李小福 2 nr
凯特琳 2 nz

文本分类的关键词提取

文本分类时，在构建VSM(向量空间模型)过程或者把文本转换成数学形式计算中，需要运用到关键词提取的技术.jieba可以简便地提取关键词。

基本用法如下：

jieba. analyse_extract_tag(sentence,topK=20, withweight=False, allow POS=()).

需要先import jibea. analyse，其中sentence为待提取的文本，topK为返回几个TF.IDF权重最大的关键词，默认值为20。withWeight为是否一并返回关键词权重值，默认值为False。allowPOS仅包含指定词性的词，默认值为空，即不进行筛选。

例如：

import  jieba,jieba.analyse
jieba.load_userdict("dict.txt")
text = "故宫的著名景点包括乾清宫、太和殿和午门等。其中乾清宫非常精美，午门是紫禁城得正门，午门居中向阳。"
seg_list = jieba.cut(text)
print("分词结果：","/".join(seg_list)) #精确模式
tags = jieba.analyse.extract_tags(text,topK=5) # 获取关键词
print("关键词：","".join(tags))
tags = jieba.analyse.extract_tags(text,topK=5,withWeight= True)  #返回关键词
print(tags)

结果：

python之jieba库相关推荐

NLP之情感分析：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)之全部代码
NLP之情感分析:基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)之全部代码目录全部代码相关文章 NLP之情感分析:基于python编程(jieba库)实现中文文本情 ...
python的jieba库第一次中文分词记录
python的jieba库第一次中文分词记录记录一下最基本的jieba分词程序 1.通过cut import jiebaseg = jieba.cut("这是一段中文字符", c ...
NLP之TEA：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)之全部代码
NLP之TEA:基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)之全部代码目录全部代码相关文章 NLP之TEA:基于python编程(jieba库)实现中文文本情感分 ...
NLP之TEA：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)
NLP之TEA:基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分) 目录输出结果设计思路相关资料 1.关于代码 2.关于数据集关于留言 1.留言内容的注意事项 2.如 ...
Python中jieba库的使用
jieba库是一款优秀的 Python 第三方中文分词库,利用一个中文词库,确定汉字之间的关联概率,汉字间概率大的组成词组,形成分词结果目录 jieba库的安装与引用安装引用 jiaba库分词功 ...
python中jieba库的安装
jieba库的作用主要用于中文分词,是一种不错的中文分词组件. python中的库可以理解为有三种:python自带的,自己定义的,第三方库(别人写好的,如jieba库,要从网上下载,进行安装) 常用 ...
Python安装jieba库的具体步骤
1.在具体地址上下载jieba--第三方中文分词函数库下载地址:https://pypi.org/project/jieba/#files 2.在命令提示符里面输入命令来安装jieba库首先定位到 ...
Python安装jieba库教程
安装jieba库教程 jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式.全模式和搜索引擎模式,下面是三种模式的特点. 精确模式:试图将语句最精确的切分, ...
python的jieba库和词云图
1.安装第三方库首先要实现中文分词和词云图,先要安装jieba库和wordcloud库,安装截图为jupyter notebook 安装的截图. 指令为: pip install wordcloud ...
Python中jieba库的安装方法
方法一:使用pycharm里的检索项(此方法适用于需要使用pycharm的小伙伴) 1.打开pycharm,在File下打开Settings. 2.在Project Interpret菜单栏下,点击& ...

python之jieba库

jieba

中文分词

jieba.cut

jieba 自定义词典

文本分类的关键词提取

python之jieba库相关推荐

最新文章

热门文章