Python疫情数据采集, 并做可视化展示
2024-05-04 23:54:04
前言
嗨喽！大家好，这里是魔王~
本次目的
Python疫情数据采集, 并做可视化展示(数据采集, 数据分析)
知识点:
- 爬虫基本流程
- requests 发送请求
- re 正则表达式
- json 结构化数据解析
- pyecharts 可视化
开发环境:
- python 3.8: 解释器
- pycharm: 代码编辑器
爬虫流程:
一. 明确需求 (爬虫 + 数据分析)
采集 确诊人数 新增人数 数据所在位置:
地址
二. 代码流程 爬虫四大步骤
发送请求 地址
获取数据 网页源代码
解析数据 筛选一些我想用的数据
保存数据 保存成表格
做数据可视化分析
代码编写
导入模块
import requests # 额外安装: 第三方模块
import re # 内置模块
import csv
with open('data.csv', mode='a', newline='') as f:csv_writer = csv.writer(f)csv_writer.writerow(['area', 'curConfirm', 'curConfirmRelative', 'confirmed', 'crued', 'died'])
url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia/?from=osari_aladin_banner'
1. 发送请求
response = requests.get(url)
# <Response [200]>: 请求成功意思
2. 获取数据 网页源代码
html_data = response.text
相对应的安装包/安装教程/激活码/使用教程/学习资料/工具插件 可以点击免费领取
3. 解析数据
json_str = re.findall('"component":\[(.*)\],', html_data)[0] # 字符串
# 字典类型取值, 转类型
json_dict = eval(json_str)
caseList = json_dict['caseList']
for case in caseList:area = case['area'] # 城市curConfirm = case['curConfirm'] # 当前确诊curConfirmRelative = case['curConfirmRelative'] # 新增人数confirmed = case['confirmed'] # 累计确诊crued = case['crued'] # 治愈人数died = case['died'] # 死亡人数print(area, curConfirm, curConfirmRelative, confirmed, crued, died)
4. 保存数据
# 乱码 encoding="utf-8" / encoding="gbk"with open('data.csv', mode='a', newline='') as f:csv_writer = csv.writer(f)csv_writer.writerow([area, curConfirm, curConfirmRelative, confirmed, crued, died])
疫情数据可视化
各地区确诊人数
china_map = (Map().add("现有确诊", [list(i) for i in zip(df['area'].values.tolist(),df['curConfirm'].values.tolist())], "china").set_global_opts(title_opts=opts.TitleOpts(title="各地区确诊人数"),visualmap_opts=opts.VisualMapOpts(max_=200, is_piecewise=True),)
)
china_map.render_notebook()
新型冠状病毒全国疫情地图
cofirm, currentCofirm, cured, dead = [], [], [], []tab = Tab()_map = (Map(init_opts=opts.InitOpts(theme='dark', width='1000px')).add("累计确诊人数", [list(i) for i in zip(df['area'].values.tolist(),df['confirmed'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False).set_series_opts(label_opts=opts.LabelOpts(is_show=True)).set_global_opts(title_opts=opts.TitleOpts(title="新型冠状病毒全国疫情地图",),legend_opts=opts.LegendOpts(is_show=False),visualmap_opts=opts.VisualMapOpts(is_show=True, max_=1000,is_piecewise=False,range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000']))
)
tab.add(_map, '累计确诊')_map = (Map(init_opts=opts.InitOpts(theme='dark', width='1000px')).add("当前确诊人数", [list(i) for i in zip(df['area'].values.tolist(),df['curConfirm'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False).set_series_opts(label_opts=opts.LabelOpts(is_show=True)).set_global_opts(title_opts=opts.TitleOpts(title="新型冠状病毒全国疫情地图",),legend_opts=opts.LegendOpts(is_show=False),visualmap_opts=opts.VisualMapOpts(is_show=True, max_=100,is_piecewise=False,range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000']))
)
tab.add(_map, '当前确诊')_map = (Map(init_opts=opts.InitOpts(theme='dark', width='1000px')).add("治愈人数", [list(i) for i in zip(df['area'].values.tolist(),df['crued'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False).set_series_opts(label_opts=opts.LabelOpts(is_show=True)).set_global_opts(title_opts=opts.TitleOpts(title="新型冠状病毒全国疫情地图",),legend_opts=opts.LegendOpts(is_show=False),visualmap_opts=opts.VisualMapOpts(is_show=True, max_=1000,is_piecewise=False,range_color=['#FFFFE0', 'green']))
)
tab.add(_map, '治愈')_map = (Map(init_opts=opts.InitOpts(theme='dark', width='1000px')).add("死亡人数", [list(i) for i in zip(df['area'].values.tolist(),df['died'].values.tolist())], "china", is_map_symbol_show=False, is_roam=False).set_series_opts(label_opts=opts.LabelOpts(is_show=True)).set_global_opts(title_opts=opts.TitleOpts(title="新型冠状病毒全国疫情地图",),legend_opts=opts.LegendOpts(is_show=False),visualmap_opts=opts.VisualMapOpts(is_show=True, max_=50,is_piecewise=False,range_color=['#FFFFE0', '#FFA07A', '#CD5C5C', '#8B0000']))
)
tab.add(_map, '死亡')tab.render_notebook()
各地区确诊人数与死亡人数情况
bar = (Bar().add_xaxis(list(df['area'].values)[:6]).add_yaxis("死亡", df['died'].values.tolist()[:6]).add_yaxis("治愈", df['crued'].values.tolist()[:6]).set_global_opts(title_opts=opts.TitleOpts(title="各地区确诊人数与死亡人数情况"),datazoom_opts=[opts.DataZoomOpts()],)
)
bar.render_notebook(
尾语
好了，我的这篇文章写到这里就结束啦！
有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง
喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！
Python疫情数据采集, 并做可视化展示相关推荐
- 【Python实战】全球疫情数据采集, 并做可视化展示
前言
- Python实战——全球疫情数据采集, 并做可视化
前言 大家早好.午好.晚好吖~ 知识点: 爬虫基本流程 requests 发送请求 re 正则表达式 json 结构化数据解析 开发环境: python 3.8: 解释器 pycharm: 代码编辑器 ...
- python将Linux下使用top命令获取的进程信息进行分析做可视化展示
python将Linux下使用top命令获取的进程信息进行分析做可视化展示 版本 版本 作者 日期 备注 v1.0 ZY 2020.11.10 初版完成 文章目录 python将Linux下使用top ...
- python疫情监控（爬虫+可视化）
大家好,作为一名互联网行业的小白,写博客只是为了巩固自己学习的知识,但由于水平有限,博客中难免会有一些错误出现,有不妥之处恳请各位大佬指点一二! 博客主页:链接: https://blog.csdn. ...
- python实现KNN算法并可视化展示
话不多说,直接上代码,本代码采用的是鸢尾花数据集,来实现KNN算法 import matplotlib.pyplot as plt import matplotlib as mpl import pa ...
- Python采集二手房源数据信息并做可视化展示
目录标题 前言 环境使用: 模块使用: python技术实现: <基本流程步骤> 代码展示 尾语 前言 嗨喽~大家好呀,这里是魔王呐 ❤ ~! 环境使用: Python 3.8 jupyt ...
- python flask大作业，疫情数据大屏可视化展示
整体效果 功能描述 本作业从MongoDB取出中国和世界疫情的相关数据进行处理和分析,然后将处理好的数据以Json的形式分别加载到相应的网站,基于ajax异步加载实现轮询,设定每一个小时发起一次请求, ...
- 别绿了别绿了——Python 股票数据采集并做数据可视化(爬虫 + 数据分析)
嗨害大家好鸭, 我是小熊猫
- Python爬虫入门教程32：爬取boss直聘招聘数据并做可视化展示
前言
最新文章
- Cannot send session cache limiter - headers already sent错误解决方法
- SQL链表查询 数据库为空
- python3遍历技巧
- C/C++学习之路_七: 内存管理
- 【每日SQL打卡】DAY 17丨文章浏览 II【难度中等】
- Mysql存储过程查询结果赋值到变量
- 拼多多12.12“全民真香节”启动 “真香”农货成为核心与亮点
- 1.Kubernetes权威指南 --- Kubernetes入门
- 安川服务器报b33怎么维修,驻马店安川伺服报警B33故障维修
- .Net开发者不容错过的技术类RSS订阅指南
- win10无法更新计算机的启动配置,电脑升级win10后一开机关机总是显示正在配置更新请不要关闭您的计算机...
- 搭建kinect for windows开发平台
- [OpenGL]计算机图形学：明暗处理的基本算法
- HTML开心餐厅网页制作,开心餐厅技巧经验总结
- 流媒体解码及H.264编码推流
- abstract 的基本概念和用法
- 那个“支付宝锦鲤”女孩，现在变得怎么样了？你肯定想象不到
- (转贴)解析SNS社区产品架构模型
- Agile 之 Scrum
- 文章植入广告营销系统开发