Python文本分析 jieba

Python文本分析

jieba.analyse.extract_tags()提取句子级的关键字
提取关键字
分词介绍
统计中文词频

jieba.analyse.extract_tags()提取句子级的关键字

提取关键字
jieba.analyse.extract_tags()提取句子级的关键字

安装jieba

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba

jieba.analyse.extract_tags()：

jieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=(),withFlag=False,
)

参数	解释
sentence	需要提取的字符串，必须是str类型，不能是list
topK	提取前多少个关键字
withWeight	是否返回每个关键词的权重
allowPOS	是允许的提取的词性，默认为allowPOS=‘ns’, ‘n’, ‘vn’, ‘v’，提取地名、名词、动名词、动词

举例

import jieba
import jieba.analysesentence = "本科及以上学历，计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言，\
包括SQL。熟悉Linux；"keywords = jieba.analyse.extract_tags(sentence, topK=20, withWeight=True, allowPOS=('n', 'nr', 'ns'))for item in keywords:print(item[0], item[1])

编程语言 1.426971375275
在校生 1.3403279777
硕士 1.1087799663225
计算机 0.85059805386
数学 0.826042559475
专业 0.7741456821725
学校 0.71152323753
重点 0.6565789565175

import jieba
import jieba.analyse
sentence = "本科及以上学历，计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言，包括SQL。熟悉Linux；"
key = ["  ".join(jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=('n', 'nr', 'ns')))]
print(key)

['编程语言  在校生  硕士  计算机  数学  专业  学校  重点']

分词介绍

举例

import jieba
#你要运行的文件
import paddle
paddle.enable_static()
jieba.enable_paddle()
strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]
for str in strs:seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式print("Paddle Mode: " + '/'.join(list(seg_list)))seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))

统计中文词频

文本来源于计算机二级Python

# -*- coding: utf-8 -*-
import jieba
txt = open("三国演义.txt", "r", encoding='utf-8').read()
#def get_text():
#    txt = open("1.txt", "r", encoding='UTF-8').read()
#    txt = txt.lower()
#    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
#        txt = txt.replace(ch, " ")      # 将文本中特殊字符替换为空格
#    return txtcounts = {}
for word in words:if len(word) == 1:    # 单个词语不计算在内continueelse:counts[word] = counts.get(word, 0) + 1
items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)
for i in range(3):word, count = items[i]print("{0:<5}{1:>5}".format(word, count))

当然也可以用计数器collections.Counter，更为简单

到这里就结束了，如果对你有帮助，欢迎点赞关注评论，你的点赞对我很重要，author：北山啦

Python文本分析 jieba相关推荐

Python文本分析---笔记
Python文本分析格式化数据:表格.json 非格式化数据:字符串.文本内容: 1.中文分词 2.自定义词典.去停用词 3.词频统计.关键词抽取 4.案例:招聘需求关键词抽取一. 中文分词分 ...
Python文本分析技巧
上一章提到,Python是一门易用且强大的编程语言,所以本书将其作为示例语言使用,同时也提供了一套基础的Python文本分析的教程. 为什么要介绍这些Python技巧?原因是希望读者具有Python和 ...
python文本分析与挖掘（一）-构建语料库
实现功能: python文本分析与挖掘(一)-构建语料库实现代码: import os from warnings import simplefilter simplefilter(action=' ...
python 文本分析_使用Python进行文本分析–书评
python 文本分析 This is a book review of Text Analytics with Python: A Practical Real-World Approach to ...
Python文本分析（NLTK,jieba,snownlp）
自然语言处理(NLP)是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法,也是人工智能领域中一个最重要.最艰难的方向.说其重要,因为它的理论与实践与探索人类自身的思维.认知.意识等精神机 ...
python文本分析的开源工具_共有11款Python 中文分词库开源软件
"哑哈"中文分词,更快或更准确,由你来定义.通过简单定制,让分词模块更适用于你的需求. "Yaha" You can custom your Chinese W ...
python文本分析库_8种Python文本处理工具集
文本处理一般包括词性标注,句法分析,关键词提取,文本分类,情感分析等等,这是针对中文的,如果是对于英文来说,只需要基本的tokenize.本文为大家提供了以下这些工具包. 1.Jieba [结巴中文分 ...
文本分析--jieba中文分词
分词技术可以分为英文分词和中文分词: 对于英文分词而言,由于英文单词之间以空格来分隔,所以在进行英文分词的过程中,只需要针对空格进行划分就可以了. 对于中文分词而言,中文单词之 ...
Python文本分析-常用中文停用词表（Chinese Stop Words）
在做jieba中文分词处理,进行文本分析,必不可少的停用词处理,国内比较常用的中文停用词库,有以下几个: 中文停用词表哈工大停用词表百度停用词表四川大学机器智能实验室停用词库而@elephan ...
python文本分析和提取_python文本分析和提取 Python 文本内容指定字段提取
使用python对txt文本进行分析和提取首先,打开计算机上的pycharm编辑器,如下图所示,然后进入下一步. 开学以后,小编没有碰过电脑,第一次,这就说明了开学是多么的可怕其次,完成上述步骤后 ...

Python文本分析 jieba

Python文本分析 jieba相关推荐

最新文章

热门文章