python 爬关键词,Python爬虫实战：爬取微博热搜关键词

一、爬取微博热搜关键词需要的第三方库

1、requests

2、BeautifulSoup 美味汤

3、worldcloud 词云

4、jieba 中文分词

5、matplotlib 绘图

二、爬取微博热搜关键词代码示例import requests

import wordcloud

import jieba

from bs4 import BeautifulSoup

from matplotlib import pyplot as plt

from pylab import mpl

#设置字体

mpl.rcParams['font.sans-serif'] = ['SimHei']

mpl.rcParams['axes.unicode_minus'] = False

url = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6'

try:

#获取数据

r = requests.get(url)

r.raise_for_status()

r.encoding = r.apparent_encoding

soup = BeautifulSoup(r.text,'html.parser')

data = soup.find_all('a')

d_list = []

for item in data:

d_list.append(item.text)

words = d_list[4:-11:]

#中文分词

result = list(jieba.cut(words[0]))

for word in words[1::]:

result.extend(jieba.cut(word))

redata = []

for it in result:

if len(it) <= 1:

continue

else:

redata.append(it)

result_str = ' '.join(redata)

#输出词云图

font = r'C:\Windows\Fonts\simhei.ttf'

w = wordcloud.WordCloud(font_path=font,width=600,height=400)

w.generate(result_str)

w.to_file('微博热搜关键词词云.png')

key = list(set(redata))

x,y = [],[]

#筛选数据

for st in key:

count = redata.count(st)

if count <= 1:

continue

else:

x.append(st)

y.append(count)

x.sort()

y.sort()

#绘制结果图

plt.plot(x,y)

plt.show()

except Exception as e:

print(e)

以上就是Python爬虫爬取微博热搜关键词的代码示例，大家可以套入代码直接使用哦~更多python爬虫推荐：python爬虫教程。

python 爬关键词,Python爬虫实战：爬取微博热搜关键词相关推荐

python 爬虫热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 1.分析网页的源代码:右键--查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在的子节点里 (2)热搜的排名都在 ...
python爬取微博热搜并存入表格_python爬虫进阶之爬取微博热搜存入Mysql
在编程中,我们如果想要把数据转入数据库中,首先会选择 MySQL数据库.因为MySQL数据库体积小.速度快.总体拥有成本低.开放源代码,其有着广泛的应用,例如我们使用python爬虫微博热搜,就可以使 ...
python爬虫微博热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
Python爬虫之四：使用BeautifulSoup爬取微博热搜
(一)安装BeautifulSoup模块目前,Beautiful Soup 的最新版本是 4.x 版本,之前的版本已经停止开发了.这里推荐使用 pip 来安装,安装命令如下: pip install ...
python爬取微博热搜榜
python爬取微博热搜榜最近应我大学室友得需求,做了一个简单的爬虫案例,先给大家看一下程序运行效果接下来就是贴出代码了,在这里我会做一些简单说明,对如刚入门的同学可能会有所帮助,这里使用的是py ...
Python爬取微博热搜数据之炫酷可视化
可视化展示看完记得点个赞哟微博炫酷可视化音乐组合版来了! 项目介绍背景现阶段,微博.抖音.快手.哗哩哗哩.微信公众号已经成为不少年轻人必备的"生活神器".在21世纪的今天, ...
python不间断爬取微博热搜并存储
Q:想要记录实时的微博热搜分析某一类事件的热度怎么办? A: 采用python爬虫24小时不间断爬取微博热搜并存储到本地. 代码如下: # -*- coding: utf-8 -*- "&q ...
python爬取微博热搜数据并保存！
主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下importrequests;importbs4mylist=[]r=requests.get(ur- 很多 ...
python爬取微博热搜榜教程，python爬取微博热搜并存入表格
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...

python 爬关键词,Python爬虫实战：爬取微博热搜关键词

python 爬关键词,Python爬虫实战：爬取微博热搜关键词相关推荐

最新文章

热门文章