实战：使用python爬取新冠疫情国内外最新数据
2024-06-14 07:25:12
爬取网址
新型冠状病毒肺炎实时更新地图
完整代码
很久没有写python了= =代码有点冗余
import requests
from lxml import etreedef spiderDemo():headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}pre_url = 'https://user.guancha.cn/app/pneumonia'html = requests.get(pre_url, headers=headers)selector = etree.HTML(html.text)china_list = selector.xpath("//*[@id='table1']/div[4]/div")china_result = {}china_detail = []for province in china_list:province_name = (province.xpath("div[1]/div[1]/text()")[0])province_confirm = int((province.xpath("div[1]/div[2]/text()")[0]))province_died = int((province.xpath("div[1]/div[3]/text()")[0]))province_cure = int((province.xpath("div[1]/div[3]/text()")[0]))province_city = province.xpath("div[2]/div")province_city_result = []for city in province_city:city_name = city.xpath("div[1]/text()")[0]city_confirm = int(city.xpath("div[2]/text()")[0])city_died = int(city.xpath("div[3]/text()")[0])city_cure = int(city.xpath("div[4]/text()")[0])province_city_result.append({"城市名": city_name,"确诊数": city_confirm,"死亡数": city_died,"治愈数": city_cure})item = {"省份名": province_name,"确诊数": province_confirm,"死亡数": province_died,"治愈数": province_cure,"下属城市": province_city_result}china_detail.append(item)china_result["详细数据"] = china_detailchina_today_confirm = int(selector.xpath("/html/body/div[1]/div[3]/div[1]/div[2]/div/div[1]/p[1]/text()")[0])china_today_suspect = int(selector.xpath("/html/body/div[1]/div[3]/div[1]/div[2]/div/div[2]/p[1]/text()")[0])china_today_cure = int(selector.xpath("/html/body/div[1]/div[3]/div[1]/div[2]/div/div[3]/p[1]/text()")[0])china_today_death = int(selector.xpath("/html/body/div[1]/div[3]/div[1]/div[2]/div/div[4]/p[1]/text()")[0])china_total_confirm = int(selector.xpath("/html/body/div[1]/div[3]/div[2]/div[2]/div/div[1]/p[1]/text()")[0])china_total_suspect = int(selector.xpath("/html/body/div[1]/div[3]/div[1]/div[2]/div/div[2]/p[1]/text()")[0])china_total_cure = int(selector.xpath("/html/body/div[1]/div[3]/div[1]/div[2]/div/div[3]/p[1]/text()")[0])china_total_death = int(selector.xpath("/html/body/div[1]/div[3]/div[1]/div[2]/div/div[4]/p[1]/text()")[0])china_result["今日数据"] = {"新增确诊": china_today_confirm, "新增疑似": china_today_suspect, "新增治愈": china_today_cure,"新增死亡": china_today_death, }china_result["累计病例"] = {"确诊病例": china_total_confirm, "疑似病例": china_total_suspect, "治愈病例": china_total_cure,"死亡病例": china_total_death, }world_list = selector.xpath("//*[@id='table2']/div[4]/div/div/div")world_result = {}world_detail = []for country in world_list:country_name = (country.xpath("div[1]/text()")[0])country_confirm = (country.xpath("div[2]/text()")[0])country_cure = (country.xpath("div[3]/text()")[0])country_death = (country.xpath("div[4]/text()")[0])item = {"国家名": country_name,"确诊数": country_confirm,"死亡数": country_cure,"治愈数": country_death}world_detail.append(item)world_result["详细数据"] = world_detailworld_today_confirm = int(selector.xpath("/html/body/div[1]/div[4]/div[1]/div[2]/div/div[1]/p[1]/text()")[0])world_today_cure = int(selector.xpath("/html/body/div[1]/div[4]/div[1]/div[2]/div/div[2]/p[1]/text()")[0])world_today_death = int(selector.xpath("/html/body/div[1]/div[4]/div[1]/div[2]/div/div[3]/p[1]/text()")[0])world_total_confirm = int(selector.xpath("/html/body/div[1]/div[4]/div[2]/div[2]/div/div[1]/p[1]/text()")[0])world_total_cure = int(selector.xpath("/html/body/div[1]/div[4]/div[2]/div[2]/div/div[2]/p[1]/text()")[0])world_total_death = int(selector.xpath("/html/body/div[1]/div[4]/div[2]/div[2]/div/div[3]/p[1]/text()")[0])world_result["今日数据"] = {"新增确诊": world_today_confirm, "新增治愈": world_today_cure, "新增死亡": world_today_death, }world_result["累计病例"] = {"确诊病例": world_total_confirm, "治愈病例": world_total_cure, "死亡病例": world_total_death, }result = {"国内疫情数据": china_result,"国外疫情数据": world_result,}print(result)if __name__ == '__main__':spiderDemo()结果
实战：使用python爬取新冠疫情国内外最新数据相关推荐
- Python爬虫实例(二)——爬取新冠疫情每日新增人数
Python是世界上最美的语言 大家好,我是Henry! 疫情以来,相信大家每天都关注着疫情的实时动态,许多网站上也post了疫情的相关资料. 丁香园 百度 各个网站都会统计每日新增,刚学了Matpl ...
- Python爬取新冠肺炎疫情实时数据(丁香园)
腾讯和丁香园疫情数据爬虫脚本和近2个月数据可自行下载: https://download.csdn.net/download/vdrere/12400191 https://download.csdn ...
- python实战｜python爬取58同城租房数据并以Excel文件格式保存到本地
python实战|python爬取58同城租房数据并以Excel文件格式保存到本地 一.分析目标网站url 目标网站:https://cq.58.com/minsuduanzu/ 让我们看看网站长啥样 ...
- 利用python爬取丁香医生上新型肺炎数据，并下载到本地，附带经纬度信息
新增:国外疫情网站介绍 已更新:爬取国外疫情数据 已更新:新型肺炎历史数据下载 2020年3月27日补充: 制作了一个全球肺炎数据查询下载网站,效果如下: 访问地址:http://119.3.227. ...
- python爬取b站弹幕并进行数据可视化
python爬取b站弹幕并进行数据可视化 1.第一步,爬取b站弹幕 我们随便打开一个b站视频 打开开发者模式,在network下搜索list,可以找到该视频的弹幕文件 打开之后是这个样子的 结构还是比 ...
- 【2023年第十一届泰迪杯数据挖掘挑战赛】A题：新冠疫情防控数据的分析 32页和40页论文及实现代码
[2023年第十一届泰迪杯数据挖掘挑战赛]A题:新冠疫情防控数据的分析 32页和40页论文及实现代码 相关链接 (1)建模方案 [2023年第十一届泰迪杯数据挖掘挑战赛]A题:新冠疫情防控数据的分析 ...
- Python爬取王者荣耀英雄的皮肤数据并下载皮肤图片项目
Python爬取王者荣耀英雄的皮肤数据,并下载皮肤图片!高清的图片用来做桌面也不错哟~ 网址:https://pvp.qq.com/web201605/herolist.shtml 1.获得英雄信息, ...
- python爬取电脑本地数据_利用python爬取丁香医生上新型肺炎数据，并下载到本地，附带经纬度信息...
原标题:利用python爬取丁香医生上新型肺炎数据,并下载到本地,附带经纬度信息 新型肺炎肆虐全国,可以预知,最近一两年地理学中会有一部分论文研究新型肺炎的空间分布及与其他指标的关联分析.获取其患病人 ...
- python爬取分析超级大乐透历史开奖数据
python爬取分析超级大乐透历史开奖数据 博主作为爬虫初学者,本次使用了requests和beautifulsoup库进行数据的爬取 爬取网站:http://datachart.500.com/dl ...
- python爬取链家网的房屋数据
python爬取链家网的房屋数据 爬取内容 爬取源网站 爬取内容 爬取思路 爬取的数据 代码 获取房屋url 获取房屋具体信息 爬取内容 爬取源网站 北京二手房 https://bj.lianjia. ...
最新文章
- 【React Native】iOS原生导航跳转RN页面
- Android JSON数据解析（GSON方式）
- linux 禁止内部命令,Linux命令——文件内部命令
- MVC中注册路由及其路由的设置
- 深蓝学院《从零开始手写VIO》作业四
- 突袭HTML5之WebSocket入门3 - 通信模型socket.io
- linux删除百万个文件夹,linux下如何删除一百万个文件
- qq邮箱使用outlook 2007
- 字节跳动测试开发4轮面试_字节跳动测试开发工程师一面总结
- Java高级语法笔记-向上层抛出异常
- 提高代码的运行效率（1）
- pythonのdjango 缓存
- 【剑指Offer】29、最小的K个数
- 小白学开发（iOS）OC_ SEL数据类型（2015-08-10）
- 苹果 14 英寸和 16 英寸 MacBook Pro 硬件功能介绍
- 设计模式--单例模式（二）双重校验锁模式
- PC端品优购电商项目源码
- Centos7之Hadoop完全分布式集群搭建和配置
- 30分钟让你成为photoshop钢笔工具…
- 几款百度竞价点击软件测评来一发