爬取美国各州实时疫情数据

首先选择爬虫网站数据来源，这里选取的是腾讯疫情数据实时更新网站https://news.qq.com/zt2020/page/feiyan.htm
选取相关数据接口：https://view.inews.qq.com/g2/getOnsInfo?name=disease_foreign

#获取数据
import requests
import json
import pandas as pd
#爬取数据的网址（腾讯新闻网实时更新）
America_url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_foreign'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36'
,'referer': 'https://news.qq.com/'
}
#获取到json格式数据
response = requests.get(url=America_url,headers = headers).json()

保存数据

#将json格式转换成字典
data = json.loads(response['data'])#保存数据
with open('./美国疫情.json','w') as f:#再将字典改成json格式f.write(json.dumps(data,indent=2,ensure_ascii=False))   #indent为格式空两格的操作#将数据保存到Excel
with open('./美国疫情.json','r') as f:data = f.read()

整理保存的数据，选取其中需要的数据，重新写入Excel

#将json格式保存为字典
data = json.loads(data)#获取美国的疫情数据
AmericaDict = data['foreignList'][0]#获取美国各州的疫情数据
ProvinceList = AmericaDict['children']#保存美国总的疫情数据
AmericaCityList = []
AmericaTotal = {'更新截止时间':AmericaDict['date'],'province':'北美洲','州':'美国','累计确诊':AmericaDict['confirm'],'治愈':AmericaDict['heal'],'死亡':AmericaDict['dead']}
AmericaCityList.append(AmericaTotal)#遍历美国各州
for i in range(len(ProvinceList)):date = ProvinceList[i]['date']province_English = ProvinceList[i]['nameMap']province = ProvinceList[i]['name']dead = ProvinceList[i]['dead']heal = ProvinceList[i]['heal']confirm = ProvinceList[i]['confirm']city_list = {'更新截止时间':date,'province':province_English,'州':province,'累计确诊':confirm,'治愈':heal,'死亡':dead}AmericaCityList.append(city_list)#将json格式转换成DataFrame
AmericaTotalData = pd.DataFrame(AmericaCityList)#保存至Excel文档
AmericaTotalData.to_excel('AmericaData.xlsx',index=False,sheet_name=AmericaDict['date'])

查看数据

爬取美国各州实时疫情数据相关推荐

利用paddlepaddle爬取丁香园实时统计数据,并生成疫情地图!!
当下,新型冠状病毒感染的肺炎疫情无时无刻不牵动着人们的心.面对来势汹汹的疫情,除了奋战在前线的医护人员以及防疫建设工作者们,小媛们也想尽一份绵薄之力. 这不,今天为大家带来了一份超超超简单的!生成自己 ...
简单的爬取网页基本信息（疫情数据）
文章目录前言一.项目简介二.项目实现过程 1.查看限制 2.读入数据三.项目效果总结前言随着网络的迅速发展,网络称为大量信息的载体,如何有效地提取并利用这些信息成为巨大的挑战.网络爬虫是 ...
用python爬取全国和全球疫情数据，并进行可视化分析(过程详细代码可运行)
用Python爬取最新疫情数据这次重大疫情,每时每刻数据都有可能变化,这篇博文将为大家讲解如何爬取实时疫情数据,并且分析数据,作出数据可视化的效果. 报告梗概: 对中国疫情分析 1.1 展示各省疫情 ...
python爬取丁香园的疫情数据绘制Echarts地图
2020.2.4更新完整的项目工程地址https://github.com/Arithmeticjia/wuhan 2020.1.26更新几乎每天页面都在变,放一下最新的爬虫代码,由于页面需要滚动 ...
python爬虫爬取腾讯网站——实时疫情数据并生成Excel表格
一.基本介绍: 开发背景:自从2020年新冠疫情发生后,至今为止的相关疫情数据新闻已经是非常的巨大了,我们无时不在在用数据尝试帮助我们解剖全球的疫情状况.由此可见,新冠疫情数据的新闻报道数量与国内疫情 ...
python如何爬取实时人流量_使用python爬取微信宜出行人流量数据
代码地址:https://liujiao111.github.io/2019/06/18/easygo/ 工具介绍: 该工具基于微信中的宜出行提供的数据接口进行爬取,能够爬取一定范围内的当前时间点的人 ...
爬取东方财富网股票行情数据和资讯
爬取东方财富网股票行情数据和资讯这个需求源于我的一个练手项目本篇博客参考:https://zhuanlan.zhihu.com/p/50099084 该博客介绍的东西本博客不做论述使用技术: 语 ...
pythongui界面实现爬取b站弹幕_Python爬虫自动化爬取b站实时弹幕实例方法
免费资源网,https://freexyz.cn/ 最近央视新闻记者王冰冰以清除可爱和专业的新闻业务水平深受众多网友喜爱,b站也有很多up主剪辑了关于王冰冰的视频.我们都是知道b站是一个弹幕网站,那你 ...
python接收弹幕_Python爬虫自动化爬取b站实时弹幕实例方法
最近央视新闻记者王冰冰以清除可爱和专业的新闻业务水平深受众多网友喜爱,b站也有很多up主剪辑了关于王冰冰的视频.我们都是知道b站是一个弹幕网站,那你知道如何爬取b站实时弹幕吗?本文以王冰冰视频弹幕为例 ...

爬取美国各州实时疫情数据

爬取美国各州实时疫情数据

爬取美国各州实时疫情数据相关推荐

最新文章

热门文章