利用python爬取微博热搜并进行数据分析

爬取微博热搜

import schedule
import pandas as pd
from datetime import datetime
import requests
from bs4 import BeautifulSoupurl = "https://s.weibo.com/top/summary?cate=realtimehot&sudaref=s.weibo.com&display=0&retcode=6102"
get_info_dict = {}
count = 0def main():global url, get_info_dict, countget_info_list = []print("正在爬取数据~~~")html = requests.get(url).textsoup = BeautifulSoup(html, 'lxml')for tr in soup.find_all(name='tr', class_=''):get_info = get_info_dict.copy()get_info['title'] = tr.find(class_='td-02').find(name='a').texttry:get_info['num'] = eval(tr.find(class_='td-02').find(name='span').text)except AttributeError:get_info['num'] = Noneget_info['time'] = datetime.now().strftime("%Y/%m/%d %H:%M")get_info_list.append(get_info)get_info_list = get_info_list[1:16]df = pd.DataFrame(get_info_list)if count == 0:df.to_csv('datas.csv', mode='a+', index=False, encoding='gbk')count += 1else:df.to_csv('datas.csv', mode='a+', index=False, header=False, encoding='gbk')# 定时爬虫
schedule.every(1).minutes.do(main)while True:schedule.run_pending()

pyecharts数据分析

import pandas as pd
from pyecharts import options as opts
from pyecharts.charts import Bar, Timeline, Grid
from pyecharts.globals import ThemeType, CurrentConfigdf = pd.read_csv('datas.csv', encoding='gbk')
print(df)
t = Timeline(init_opts=opts.InitOpts(theme=ThemeType.MACARONS))  # 定制主题
for i in range(int(df.shape[0]/15)):bar = (Bar().add_xaxis(list(df['title'][i*15: i*15+15][::-1]))  # x轴数据.add_yaxis('num', list(df['num'][i*15: i*15+15][::-1]))  # y轴数据.reversal_axis()  # 翻转.set_global_opts(  # 全局配置项title_opts=opts.TitleOpts(  # 标题配置项title=f"{list(df['time'])[i * 15]}",pos_right="5%", pos_bottom="15%",title_textstyle_opts=opts.TextStyleOpts(font_family='KaiTi', font_size=24, color='#FF1493')),xaxis_opts=opts.AxisOpts(  # x轴配置项splitline_opts=opts.SplitLineOpts(is_show=True),),yaxis_opts=opts.AxisOpts(  # y轴配置项splitline_opts=opts.SplitLineOpts(is_show=True),axislabel_opts=opts.LabelOpts(color='#DC143C'))).set_series_opts(  # 系列配置项label_opts=opts.LabelOpts(  # 标签配置position="right", color='#9400D3')))grid = (Grid().add(bar, grid_opts=opts.GridOpts(pos_left="24%")))t.add(grid, "")t.add_schema(play_interval=1000,  # 轮播速度is_timeline_show=False,  # 是否显示 timeline 组件is_auto_play=True,  # 是否自动播放)t.render('时间轮播图.html')

利用python爬取微博热搜并进行数据分析相关推荐

用python爬虫爬微博_利用python爬取微博热搜
1.打开所要爬取的网页https://s.weibo.com/weibo?q=%E7%83%AD%E6%90%9C&wvr=6&b=1&Refer=SWeibo_box 2.打 ...
python爬取微博热搜数据并保存！
主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下importrequests;importbs4mylist=[]r=requests.get(ur- 很多 ...
python爬取微博热搜榜
python爬取微博热搜榜最近应我大学室友得需求,做了一个简单的爬虫案例,先给大家看一下程序运行效果接下来就是贴出代码了,在这里我会做一些简单说明,对如刚入门的同学可能会有所帮助,这里使用的是py ...
python爬取微博热搜写入数据库_python实现爬取微博热搜存入Mysql
python爬取微博热搜存入Mysql最终的效果使用的库目标分析一:得到数据二:链接数据库总代码最终的效果废话不多少,直接上图这里可以清楚的看到,数据库里包含了日期,内容,和网站lin ...
python爬取微博热搜榜教程，python爬取微博热搜并存入表格
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
Python爬取微博热搜榜，将数据存入数据库
一直想学习用Python来进行数据的爬取,也一直想知道Python连接数据库的操作,今天刚好看到的这篇文章满足了这两个条件,我试着爬了下微博,并成功将数据添加到数据库中,颇为欢喜.作者写的很简单,有些 ...
Python爬取微博热搜数据之炫酷可视化
可视化展示看完记得点个赞哟微博炫酷可视化音乐组合版来了! 项目介绍背景现阶段,微博.抖音.快手.哗哩哗哩.微信公众号已经成为不少年轻人必备的"生活神器".在21世纪的今天, ...
python爬取微博热搜并存入表格_python爬虫进阶之爬取微博热搜存入Mysql
在编程中,我们如果想要把数据转入数据库中,首先会选择 MySQL数据库.因为MySQL数据库体积小.速度快.总体拥有成本低.开放源代码,其有着广泛的应用,例如我们使用python爬虫微博热搜,就可以使 ...
python爬取微博热搜显示到折线图_微博热搜榜前20信息数据爬取进行数据分析与可视化...
一.设计方案 1.主题式网络爬虫名称:微博热搜榜前20信息数据爬取进行数据分析与可视化 2.爬取内容与数据特征分析:爬取微博热搜榜前20热搜事件.排名与热度,数据呈一定规律排序. 3.设计方案概述:思 ...

利用python爬取微博热搜并进行数据分析

利用python爬取微博热搜并进行数据分析相关推荐

最新文章

热门文章