这篇文章主要介绍了Python利用爬虫爬取疫情数据并进行可视化的展示,文中的示例代码讲解清晰,对工作或学习有一定的价值,需要的朋友可以参考一下。编程资料点击领取

目录

知识点

开发环境

爬虫完整代码

导入模块

分析网站

发送请求

获取数据

解析数据

保存数据

数据可视化

导入模块

读取数据

死亡率与治愈率

各地区确诊人数与死亡人数情况


知识点

  1. 爬虫基本流程
  2. json
  3. requests 爬虫当中 发送网络请求
  4. pandas 表格处理 / 保存数据
  5. pyecharts 可视化

开发环境

python 3.8 比较稳定版本 解释器发行版 anaconda jupyter notebook 里面写数据分析代码 专业性

pycharm 专业代码编辑器 按照年份与月份划分版本的

爬虫完整代码

导入模块

1

2

3

4

import requests      # 发送网络请求模块

import json

import pprint        # 格式化输出模块

import pandas as pd  # 数据分析当中一个非常重要的模块

分析网站

先找到今天要爬取的目标数据

实时更新:新冠肺炎疫情最新动态

找到数据所在url

发送请求

1

2

url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=1638361138568'

response = requests.get(url, verify=False)

获取数据

1

json_data = response.json()['data']

解析数据

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

json_data = json.loads(json_data)

china_data = json_data['areaTree'][0]['children'] # 列表

data_set = []

for i in china_data:

    data_dict = {}

    # 地区名称

    data_dict['province'] = i['name']

    # 新增确认

    data_dict['nowConfirm'] = i['total']['nowConfirm']

    # 死亡人数

    data_dict['dead'] = i['total']['dead']

    # 治愈人数

    data_dict['heal'] = i['total']['heal']

    # 死亡率

    data_dict['deadRate'] = i['total']['deadRate']

    # 治愈率

    data_dict['healRate'] = i['total']['healRate']

    data_set.append(data_dict)

保存数据

1

2

df = pd.DataFrame(data_set)

df.to_csv('data.csv')

数据可视化

导入模块

1

2

from pyecharts import options as opts

from pyecharts.charts import Bar,Line,Pie,Map,Grid

读取数据

1

2

df2 = df.sort_values(by=['nowConfirm'],ascending=False)[:9]

df2

死亡率与治愈率

1

2

3

4

5

6

7

8

9

10

11

line = (

    Line()

    .add_xaxis(list(df['province'].values))

    .add_yaxis("治愈率", df['healRate'].values.tolist())

    .add_yaxis("死亡率", df['deadRate'].values.tolist())

    .set_global_opts(

        title_opts=opts.TitleOpts(title="死亡率与治愈率"),

    )

)

line.render_notebook()

各地区确诊人数与死亡人数情况

1

2

3

4

5

6

7

8

9

10

11

bar = (

    Bar()

    .add_xaxis(list(df['province'].values)[:6])

    .add_yaxis("死亡", df['dead'].values.tolist()[:6])

    .add_yaxis("治愈", df['heal'].values.tolist()[:6])

    .set_global_opts(

        title_opts=opts.TitleOpts(title="各地区确诊人数与死亡人数情况"),

        datazoom_opts=[opts.DataZoomOpts()],

        )

)

bar.render_notebook()

以上就是Python爬虫爬取疫情数据并可视化展示的详细内容。

感谢关注,为你们准备了编程学习的一套资料,还有相应的代码,视频教程都可以获取,添加Q裙703046414即可获取。

Python爬虫爬取疫情数据并可视化展示相关推荐

  1. python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一)

    python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(二.数据清洗及存储) 爬起疫情数据,有两个网址: 1.百度:链接 2.丁香园疫情:链接 在这两个中,丁香园的爬虫相对简单一点,所以今天就展示一 ...

  2. python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(二)

    上一章: python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一.爬虫思路及代码) 第三步:数据清洗 清洗数据很简单,就是数据太乱的话,就得花些时间,所以一定要有一个好的方法,才能避免在清洗数据 ...

  3. python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么

    在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...

  4. Python爬虫爬取网页数据并存储(一)

    Python爬虫爬取网页数据并存储(一) 环境搭建 爬虫基本原理 urllib库使用 requests库使用 正则表达式 一个示例 环境搭建 1.需要事先安装anaconda(或Python3.7)和 ...

  5. java爬虫抓取nba_利用Python爬虫爬取NBA数据功能实例分享

    Python实现爬虫爬取NBA数据功能示例 本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016- ...

  6. python爬网站数据实例-利用Python爬虫爬取NBA数据功能实例分享

    Python实现爬虫爬取NBA数据功能示例 本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016- ...

  7. python如何爬虫网页数据-python爬虫——爬取网页数据和解析数据

    1.网络爬虫的基本概念 网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 只要浏览器能够做的事情,原则上,爬虫都能够做到. ...

  8. python爬虫爬取的数据与浏览器获取的数据不一样 爬虫爬取到的数据一直不变

    具体问题 在爬取某个网站时遇到了一个奇怪的问题,就是只要是python爬取的数据得到的基本就是那么几种数据,无论我输入的是什么,返回的数据与浏览器得到返回的数据都不一样,这让我很郁闷,百度也找不到想要 ...

  9. python爬虫爬取天气数据并图形化显示

    前言 使用python进行网页数据的爬取现在已经很常见了,而对天气数据的爬取更是入门级的新手操作,很多人学习爬虫都从天气开始,本文便是介绍了从中国天气网爬取天气数据,能够实现输入想要查询的城市,返回该 ...

最新文章

  1. 万物皆为向量:在线向量召回工程服务化实践
  2. Python 超简单3行代码提取音乐高潮部分
  3. 17.07.26 Oracle安装
  4. 断网也能上传数据!苹果用户又可以了 | 开源
  5. 目标检测遮挡问题及解决方案汇总
  6. “最粉嫩”的JVM垃圾回收器及算法,王者笔记!
  7. 网络编程学习笔记(gethostname函数)
  8. [原创]正则表达式在c#中的学习和应用
  9. Leetcode 223. 矩形面积 解题思路及C++实现
  10. 关于java Servlet,Struts,springMVC 的线程安全问题
  11. 微信小程序开发:学习笔记[8]——页面跳转及传参
  12. python实现TCP远程服务器文件上传,下载系统
  13. python与matlab比较_python和matlab如何选择?
  14. python之Django学习笔记(五)---后台(admin.py)Action使用
  15. 实验代做 行人识别_《行人跨模态重识别 | 双向限制的排序损失》
  16. 具体数学-第2课(成套方法求解递归式)
  17. linux系统管理Linux系统实验,实验三 linux系统管理.doc
  18. 关于使用XLSTransformer.transformXLS导出Excel表格中遇到的问题
  19. 你不可错过的Java学习资源清单
  20. Sublime Text 3.0安装及破解汉化

热门文章

  1. laravel入门及技术指南
  2. 今天我给大家分享几款珍藏已久的指标公式,都是简单好用的指标
  3. python调用第三方接口获取数据_python 接口实现 供第三方调用的例子
  4. html怎样和css链接起来,html如何跟css链接?
  5. 从微信云托管容器镜像的选择-alpine 说起
  6. 腰围ndows怎么管理员删除,电脑里面本地连接的IP地址怎样设置啊?我设置不来.开机起来都慢的要死...
  7. 三星手机如何升级android4.1系统,三星GALAXY S Ⅲ迎来安卓4.1升级
  8. 安卓打开rpm文件_在PC上如何运行Android系统?
  9. ffmpeg 视频无损拼接 和一键拼接方法
  10. android 斗鱼礼物动画,GitHub - Yuphee/RewardLayout: 仿斗鱼直播送礼物和连击效果动画...