Python爬虫分析微博热搜关键词（代码已过时，仅供参考）

1，使用到的第三方库
requests
BeautifulSoup 美味汤
worldcloud 词云
jieba 中文分词
matplotlib 绘图
2，代码实现部分

import requests
import wordcloud
import jieba
from bs4 import BeautifulSoup
from matplotlib import pyplot as plt
from pylab import mpl#设置字体
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = Falseurl = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6'try:#获取数据r = requests.get(url)r.raise_for_status()r.encoding = r.apparent_encodingsoup = BeautifulSoup(r.text,'html.parser')data = soup.find_all('a')d_list = []for item in data:d_list.append(item.text)words = d_list[4:-11:]#中文分词result = list(jieba.cut(words[0]))for word in words[1::]:result.extend(jieba.cut(word))redata = []for it in result:if len(it) <= 1:continueelse:redata.append(it)result_str = ' '.join(redata)#输出词云图font = r'C:\Windows\Fonts\simhei.ttf'w = wordcloud.WordCloud(font_path=font,width=600,height=400)w.generate(result_str)w.to_file('微博热搜关键词词云.png')key = list(set(redata))x,y = [],[]#筛选数据for st in key:count = redata.count(st)if count <= 1:continueelse:x.append(st)y.append(count)x.sort()y.sort()#绘制结果图plt.plot(x,y)plt.show()
except Exception as e:print(e)

3，运行结果

Python爬虫分析微博热搜关键词（代码已过时，仅供参考）相关推荐

python 爬关键词,Python爬虫实战：爬取微博热搜关键词
一.爬取微博热搜关键词需要的第三方库 1.requests 2.BeautifulSoup 美味汤 3.worldcloud 词云 4.jieba 中文分词 5.matplotlib 绘图二.爬取微 ...
【Python】爬虫获取微博热搜数据，response中文显示“\u7814\u7a76\u8bc1\u5b9e\u”
问题描述在爬虫获取微博热搜数据的时候,response中文出现了不便于理解的字段,截取如下: ......[{"title_sub":"\u7814\u7a76\u8b ...
python热搜排行功能_手把手教你用Python+Pyecharts让微博热搜榜动起来
今天教大家如何用pyecharts制作微博热搜榜动态展示视频,先上视频看看效果: 教程主要有2部分: 一是python爬取微博热搜内容二是用pyecharts制作动态视频下面给大家详细介绍一下一 ...
python爬取微博热搜榜
python爬取微博热搜榜最近应我大学室友得需求,做了一个简单的爬虫案例,先给大家看一下程序运行效果接下来就是贴出代码了,在这里我会做一些简单说明,对如刚入门的同学可能会有所帮助,这里使用的是py ...
python热搜排行功能_用Python做一个微博热搜榜的语音播报
微博是一个社交平台,有高效的信息流,几乎所有人能在这上面找到自己感兴趣的内容.经常使用微博的小伙伴,大家对微博热搜榜应该都不会很陌生.每天发生了什么新闻呢,谁谁谁又上热搜了. 在这个信息社会,每天发生 ...
python爬取微博热搜写入数据库_python实现爬取微博热搜存入Mysql
python爬取微博热搜存入Mysql最终的效果使用的库目标分析一:得到数据二:链接数据库总代码最终的效果废话不多少,直接上图这里可以清楚的看到,数据库里包含了日期,内容,和网站lin ...
基于PHP爬虫的微博热搜实时监控平台
基于PHP爬虫的微博热搜实时监控平台背景一.整体思路二.数据爬取 1.获取HTML 2.提取数据 3.返回数据三.数据可视化 1.画柱状图 2.ajax请求数据四.效果展示写在最后背景 ...
python爬取微博热搜数据并保存！
主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下importrequests;importbs4mylist=[]r=requests.get(ur- 很多 ...
python抓取微博热搜列表
20200912 - 今天收拾自己以前的代码,看到了很久之前写的一个抓取微博热搜的代码,最起码的两年了,然后跑了一下,居然还行,只不过并不是理想,数据上有些偏差,但是能用.功能就是每1分钟抓取一次,然 ...

Python爬虫分析微博热搜关键词（代码已过时，仅供参考）

Python爬虫分析微博热搜关键词（代码已过时，仅供参考）相关推荐

最新文章

热门文章