Python开发练习-对比三种jieba分词的关键词提取结果

jieba分词是一个很不错的中文分词库，其中关键词提取常用，不同的提取方式结果略有不同，关键词提取优化还是可以做一下的。

import os
import pathlib
import jieba
import jieba.analyse
from collections import Counterdef getfile():#获取当前子目录wenzhang1下的所有txt文档filetp=''targcwd=os.path.join(os.getcwd(),'wenzhang1')filelist=list(sorted(pathlib.Path(targcwd).glob('*.txt')))filetp=[str(tp) for tp in filelist]return filetpdef duibi(file_cut0):#对比三种关键词提取结果#读文本-----这里只能正确读取UTF-8的文本filetxt=[]with open(file_cut0,'r',encoding='utf-8',errors='ignore')as f:filetxt=f.readlines()filewords=''.join(filetxt)# TF-IDF 算法print('*'*40)tags = jieba.analyse.extract_tags(filewords, topK=20)print(tags)#TextRank 算法print('*'*40)for x,w in jieba.analyse.textrank(filewords, topK=20,withWeight=True):print('%s %s' % (x, w))tags=jieba.analyse.textrank(filewords, topK=20)print(tags)#精确模式分词频率统计print('*'*40)filecut=jieba.cut(filewords)ct=dict(Counter(filecut))ctt=dict(sorted(ct.items(),key=lambda x:x[1],reverse=True))ctt=dict([xx for xx in ctt.items() if(len(xx[0])>1)])ctt=list(ctt.keys())[:30]print(ctt)if __name__=='__main__':filetp=getfile()if filetp:file_cut0=''for file0 in filetp:if '动态社会系统' in file0:file_cut0=file0if file_cut0:duibi(file_cut0)

关注Python开发练习，200G学习资源免费送，还可以免费处理2.5小时以内的各类小Task。

Python开发练习-对比三种jieba分词的关键词提取结果相关推荐

jieba分词浅析---关键词提取
最近公司在做一个分词的项目,所以对分词有所研究,再经过整个项目的不断调整逐渐对分词有了更深入的了解,下面是我自己对分词的一些理解,希望能对大家有一定的帮助,也希望大家多多指点,如果有什么不对的地方请尽 ...
python分词训练_python练习17：用jieba分词做关键词提取，用matplotlib做可视化
jieba分词是一款开源的中文分词包,同时它还带有分析模块,可以用TF-IDF等算法进行关键词分析 jieba 下面的小程序的基本思路是: 通过jieba从保存好的txt文本中提取关键词,根据关键 ...
python列表追加的三种方式对比
python列表追加的三种方式分别为:+, extend(), append() +是直接将两个列表拼凑在一起,并生成新的列表 extend()是将另一个列表的值插入已有列表中,并不会生成新的列表 a ...
python语言入门r_小结：jieba分词的Python与R语言基础用法介绍
当前浏览器不支持播放音乐或语音,请在微信或其他浏览器中播放人们说话不是一个词一个词崩出来的,文章也就由句子组成.要想让机器识别美文,体会中华名族汉语的博大精深,不是不可能.但是,首先需要将其转化成其 ...
python实现单例模式的三种方式及相关知识解释
python实现单例模式的三种方式及相关知识解释模块模式装饰器模式父类重写new继承单例模式作为最常用的设计模式,在面试中很可能遇到要求手写.从最近的学习python的经验而言,singlet ...
【Python】Python创建虚拟环境的三种方式
Python创建虚拟环境的三种方式比较 Python创建虚拟环境的三种方式首先:为什么需要虚拟环境? Pipenv vs Virtualenv vs Conda 1. Virtualenv 2. P ...
python程序执行三种方式,Python运行程序的三种方法
对于python中运行程序的方法,是我们初学时就已经掌握过的了,想必大家会的只是其中的一两种方式. 本篇对程序运行的三种方式进行了整理,分别是:Python的解释器.交互式运行和PyCharm,大家在 ...
Python 发送 email 的三种方式
Python发送email的三种方式,分别为使用登录邮件服务器.使用smtp服务.调用sendmail命令来发送三种方法本文原文自米扑博客:Python 发送 email 的三种方式 Python发 ...
测试Python下载图片的三种方法
简介: 通过Python软件包对网络URL图片链接进行下载,可以加快后期处理.本文测试了urllib, request两个软件包对图片进行下载效果.如果图片原网页有了防止下载机制,是无法下载图片. ...

Python开发练习-对比三种jieba分词的关键词提取结果

Python开发练习-对比三种jieba分词的关键词提取结果相关推荐

最新文章

热门文章