俗话说的好,“授之以鱼不如授之以渔”,所以小编今天就把爬疫情历史数据的方法分享给你们。

基本思路:分析腾讯新闻“抗肺炎”版块,采用“倒推法”找到疫情数据接口,然后用python模拟请求,进而保存疫情历史数据。

一、分析数据接口

1.进入海外疫情主页,分析海外各国疫情历史数据接口:

https://news.qq.com/zt2020/page/feiyan.htm#/global

打开流量分析工具,以“美国”为例,点击详情

选中第一个出现的json文件,发现响应数据为美国从1月28日至今天的疫情数据,包括确诊新增(confirm_add)、确诊(confirm)、治愈(heal)以及死亡(dead)数据。

该次请求的具体信息为:

以post请求的方式,网址为:

https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=国家名称

2. 进入国内疫情主页,分析国内各省疫情历史数据接口:

https://news.qq.com/zt2020/page/feiyan.htm#/global

打开流量分析工具,以“黑龙江”为例,点击详情

选中第一个出现的json文件,发现响应数据为黑龙江从1月28日至今天的疫情数据,包括确诊新增(confirm_add)、确诊(confirm)、治愈(heal)以及死亡(dead)数据

该次请求的具体信息为:

以post请求的方式,网址为:

https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?province=各省名称

3.同理分析出省内各市的历史数据接口:

以post请求的方式,网址为:

https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?province=省名称&city=市名称

4.分析找到海外各国、国内各省、省内各市的名称

打开流量分析工具,在网址中输入:

https://news.qq.com/zt2020/page/feiyan.htm#/global

①打开请求网址为

https://view.inews.qq.com/g2/getOnsInfo
name=disease_foreign&callback=jQuery34105534161076800497_1587272333891&_=1587272333892

的响应窗口:

返回数据中包含所有国家的名称。

②打开请求网址为:

https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=jQuery34105534161076800497_1587272333887&_=1587272333888
的响应窗口:

返回数据包含全国各省市的名称。

第二步:开始写程序

1.模拟爬取海外各国历史疫情数据

根据第一步分析结果,先爬取各个国家名称,然后构造url爬取各个国家的历史数据代码如下:

2.模拟爬取国内各省疫情数据根据第一步分析结果,先爬取各个省的名称,然后构造url爬取各个省的历史数据,代码如下:

3.模拟爬取省内各市疫情数据

根据第一步分析结果,先爬取该省各市的名称,然后构造url爬取各个市的历史数据,代码如下:

第三步:效果展示

1.海外各国疫情数据:

2.国内各省疫情数据:

3.黑龙江各市疫情数据:

如果你处于想学Python或者正在学习Python,Python的教程不少了吧,但是是最新的吗?说不定你学了可能是两年前人家就学过的内容,在这小编分享一波2020最新的Python教程。获取方式,私信小编 “ 资料 ”,即可免费获取哦!

5分钟python爬虫案例,手把手教爬取国内外最新疫情历史数据相关推荐

  1. python爬虫案例——根据网址爬取中文网站,获取标题、子连接、子连接数目、连接描述、中文分词列表

    全栈工程师开发手册 (作者:栾鹏) python教程全解 其中使用到了urllib.BeautifulSoup爬虫和结巴中文分词的相关知识. 调试环境python3.6 # 根据连接爬取中文网站,获取 ...

  2. Python爬虫案例:简单爬取肯德基餐厅位置信息

    目录 代码 成功获取的数据预览 代码 # Python爬虫简单例子 # 爬取肯德基餐厅位置信息 # 仅供学习交流!import requests;# 判断是否是当前文件运行 if __name__ = ...

  3. Python爬虫案例3:爬取房天下房价等各种信息

    爬取房天下网站,爬取的内容: 区域.小区名.总价.房型.面积.单价.朝向.楼层位置.装修情况.建筑时间.是否有电梯.产权类型.住宅类型.发布日期 信息保存:保存在csv中 数据结果: 1.先建立爬虫项 ...

  4. python爬虫案例分析:爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现

    1.用到的模块: requests pprint csv 2.找到肯德基门店网站进入门店位置页面后,打开抓包工具,找到response中包含所需信息的正确的url信息 3. 导入地址url 4.为防止 ...

  5. 数据采集与存储案例——基于Python爬虫框架Scrapy的爬取网络数据与MySQL数据持久化

    此案例需要预先安装pymsql python3.7.4 scrapy2.7.1 一.安装scrapy框架 1.使用pip命令安装scrapy pip install scrapy 在这里下载太慢可以使 ...

  6. Python爬虫入门 | 7 分类爬取豆瓣电影,解决动态加载问题

      比如我们今天的案例,豆瓣电影分类页面.根本没有什么翻页,需要点击"加载更多"新的电影信息,前面的黑科技瞬间被秒--   又比如知乎关注的人列表页面:   我复制了其中两个人昵称 ...

  7. Python爬虫【二】爬取PC网页版“微博辟谣”账号内容(selenium同步单线程)

    专题系列导引   爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集   课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...

  8. Python爬虫【四】爬取PC网页版“微博辟谣”账号内容(selenium多线程异步处理多页面)

    专题系列导引   爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集   课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...

  9. Python爬虫【三】爬取PC网页版“微博辟谣”账号内容(selenium单页面内多线程爬取内容)

    专题系列导引   爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集   课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...

最新文章

  1. 读书笔记4数据的读入和保存
  2. c语言基础 验证ascii 码表
  3. python中文叫什么意思-python中文叫什么
  4. Python合并多个Excel数据
  5. 牛客网 【每日一题】6月8日 [SCOI2005]最大子矩阵
  6. python中为什么没有自增或者自减
  7. python random从集合中随机选择元素
  8. 洛谷—— P2658 汽车拉力比赛
  9. 解决Mysql的主从数据库没有同步的两种方法
  10. flask如何查询mysql_如何从Flask应用中的MySQL查询返回数据?
  11. 用最简单的方法生成代码雨,效果相当的哇塞。
  12. 图像处理黑科技—破解文档识别难题(PS检测、弯曲拉平、切边切片、摩尔纹)
  13. python-map()/reduce()/filter()/sorted()/排列组合
  14. mysql随机生成 姓名+电话
  15. 移动端产品设计(02)-移动APP产品结构
  16. python logger handler_Python中的logger和handler到底是个什么鬼
  17. iOS ksyhttpcache音视频缓存
  18. linux中zip文件解压命令,Linux中zip压缩和unzip解压缩命令使用方法
  19. Android 开发之Loading
  20. 牛视系统源码,抖音矩阵系统功能开发定制。I‘m here

热门文章

  1. 点餐系统mysql设计,外卖点餐系统数据库设计.doc
  2. Java生成ics文件
  3. FAST角点检测算法(二)- 非极大值抑制筛选fast特征点
  4. 2021-07-16芯片-全球半导体产业核心地区的补贴及激励措施
  5. 美通社日历 | 媒体关注、会展信息、企业财报发布,节假日备忘(8月3日—8月9日)...
  6. 用pip安装django
  7. K-Stack 2021牛客多校2
  8. java 判断手机运营商_如何用java判断手机号运营商?
  9. 处理器核(core)、处理器(cpu)区别
  10. [笔记]光照系统 实时GI、烘焙GI