用python爬虫爬微博_利用python爬取微博热搜

1.打开所要爬取的网页https://s.weibo.com/weibo?q=%E7%83%AD%E6%90%9C&wvr=6&b=1&Refer=SWeibo_box

2.打开开发者工具查找所要爬取的数据位置

3.进行爬取并数据可视化

import requests#引入requests库用于下载网页

from bs4 import BeautifulSoup#BeautifulSoup用于解析网页

import pandas as pd#引入pandas方便数据可视化

from pandas import DataFrame

url="https://s.weibo.com/weibo?q=%E7%83%AD%E6%90%9C&wvr=6&b=1&Refer=SWeibo_box"#所要爬取的网页

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}#

r=requests.get(url)#请求网站

r.encoding='utf-8'#对页面内容重新编码

data=r.text

soup=BeautifulSoup(data,'html.parser')#使用BeautifulSoup工具

print(soup.prettify())#显示网站结构

a=[]#创建一个空列表

index=[]

for i in soup.find_all(class_="td-01 ranktop"):#把排名添加进空列表

a.append(i.get_text().strip())

for k in soup.find_all(class_="td-01"):#把热度标题添加进空列表

index.append(k.get_text().strip())

data=[a,index]

print(data)

s=pd.DataFrame(data,index=["排名","热点标题\热度"])

print(s.T)#将所得数据进行可视化

用python爬虫爬微博_利用python爬取微博热搜相关推荐

python爬虫新闻热点_利用Python网络爬虫技术追踪时事热点
龙源期刊网 http://www.qikan.com.cn 利用 Python 网络爬虫技术追踪时事热点作者:廖泽龙王昊源刘紫嫣
python爬虫好友聊天记录_利用Python网络爬虫抓取微信好友的签名及其可视化展示...
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
python爬虫好友图片_利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
mac用python爬虫下载图片_利用Python爬虫采集mac电脑皮肤|简明python教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ blessing skin网站介绍:blessing skin网址为 https://skin.prinz ...
python爬虫抢火车票_利用Python实现12306爬虫--查票
在上一篇文章(http://www.cnblogs.com/fangtaoa/p/8321449.html)中,我们实现了12306爬虫的登录功能,接下来,我们就来实现查票的功能. 其实实现查票的功能 ...
Python爬虫与信息提取（八）将新浪热搜排名导入数据库
python爬取新浪热搜排名并导入数据库上一篇文章简单介绍了如何使用python爬取新浪微博的热搜排名: 爬虫实例:爬取新浪微博热搜排名如果了解清楚原理的话是非常容易懂的,但是这样单纯的进行查询结 ...
python制作电脑软件_利用PYTHON制作桌面版爬虫软件（一）
抱歉,对长沙房地产数据的挖掘与分析[三],想了蛮久,觉得对自己的分析结果不是很理想.等我完善好了,我再发出来吧.今天继续开启新的一专题.主要讲解如何用PYTHON实现简单的桌面软件的制作. 题外话,我 ...
python展示全部好友_利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
python爬虫股票市盈率_使用python爬虫实现网络股票信息爬取的demo
实例如下所示: import requests from bs4 import BeautifulSoup import traceback import re def getHTMLText(url ...
python爬虫下载小说_用PYTHON爬虫简单爬取网络小说
用PYTHON爬虫简单爬取网络小说. 这里是17K小说网上,随便找了一本小说,名字是<千万大奖>. 里面主要是三个函数: 1.get_download_url() 用于获取该小说的所有章节 ...

用python爬虫爬微博_利用python爬取微博热搜

用python爬虫爬微博_利用python爬取微博热搜相关推荐

最新文章

热门文章