Python实战——全球疫情数据采集, 并做可视化

前言

大家早好、午好、晚好吖~

知识点:

爬虫基本流程
requests 发送请求
re 正则表达式
json 结构化数据解析

开发环境:

python 3.8: 解释器
pycharm: 代码编辑器
requests 发送请求
pyecharts 绘制图表
pandas 读取数据

基本原理:

模拟成浏览器/客户端向服务器发送请求的过程

思路:

找到数据来源

静态的数据: 你在右键点击查看网页源代码能够找到的数据

动态的数据: 你在右键点击查看网页源代码找不到的数据

实现爬虫代码的流程:

发送请求 (通过代码的方式访问上方的数据来源/访问网站)
获取数据
解析数据
保存数据

采集代码

import requests     # 发送请求
import csv          # 内置模块 不需要你安装的

mode=‘a’: 追加写入

encoding=‘utf-8’: 编码方式 / gbk

newline=‘’: 数据空行

f = open('疫情数据.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(f)
csv_writer.writerow(['name', 'confirm', 'confirmAdd', 'dead', 'heal', 'nowConfirm'])

headers 伪装公开数据

url = 'https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoCountryConfirmAdd,WomWorld,WomAboard'

1. 发送请求

response = requests.post(url)

<Response [200]>: 200, 请求成功了

2. 获取数据

.text: 直接获取文本内容

.json(): 字典键值对的方式把数据取出来

.content: 获取二进制内容, 视频 / 音频 / 图片

json_data = response.json()

3. 解析数据

结构非常的标准

结构化的数据 json数据直接通过字典键值对的方式取值 ['data'] ['WomAboard']

非结构化数据网页源代码 css/xpath/re

WomAboard = json_data['data']['WomAboard']
# 0, 224
for i in range(0, 225):name = WomAboard[i]['name']confirm = WomAboard[i]['confirm']confirmAdd = WomAboard[i]['confirmAdd']dead = WomAboard[i]['dead']heal = WomAboard[i]['heal']nowConfirm = WomAboard[i]['nowConfirm']print(name, confirm, confirmAdd, dead, heal, nowConfirm)

4. 保存数据

    csv_writer.writerow([name, confirm, confirmAdd, dead, heal, nowConfirm])
f.close()

可视化代码

import pandas as pd     # 做表格操作的模块
from pyecharts.charts import Map  # 绘图的模块
from pyecharts import options as opts

源码、教程点击蓝色字体自取，我都放在这里了。

name_map = {'Singapore Rep.': '新加坡','Dominican Rep.': '多米尼加','Palestine': '巴勒斯坦','Bahamas': '巴哈马','Timor-Leste': '东帝汶','Afghanistan': '阿富汗','Guinea-Bissau': '几内亚比绍',"Côte d'Ivoire": '科特迪瓦','Siachen Glacier': '锡亚琴冰川',"Br. Indian Ocean Ter.": '英属印度洋领土','Angola': '安哥拉','Albania': '阿尔巴尼亚','United Arab Emirates': '阿联酋','Argentina': '阿根廷','Armenia': '亚美尼亚','French Southern and Antarctic Lands': '法属南半球和南极领地','Australia': '澳大利亚','Austria': '奥地利','Azerbaijan': '阿塞拜疆','Burundi': '布隆迪','Belgium': '比利时','Benin': '贝宁','Burkina Faso': '布基纳法索','Bangladesh': '孟加拉国','Bulgaria': '保加利亚','The Bahamas': '巴哈马','Bosnia and Herz.': '波斯尼亚和黑塞哥维那','Belarus': '白俄罗斯','Belize': '伯利兹','Bermuda': '百慕大','Bolivia': '玻利维亚','Brazil': '巴西','Brunei': '文莱','Bhutan': '不丹','Botswana': '博茨瓦纳','Central African Rep.': '中非共和国','Canada': '加拿大','Switzerland': '瑞士','Chile': '智利','China': '中国','Ivory Coast': '象牙海岸','Cameroon': '喀麦隆','Dem. Rep. Congo': '刚果（金）','Congo': '刚果（布）','Colombia': '哥伦比亚','Costa Rica': '哥斯达黎加','Cuba': '古巴','N. Cyprus': '北塞浦路斯','Cyprus': '塞浦路斯','Czech Rep.': '捷克','Germany': '德国','Djibouti': '吉布提','Denmark': '丹麦','Algeria': '阿尔及利亚','Ecuador': '厄瓜多尔','Egypt': '埃及','Eritrea': '厄立特里亚','Spain': '西班牙','Estonia': '爱沙尼亚','Ethiopia': '埃塞俄比亚','Finland': '芬兰','Fiji': '斐','Falkland Islands': '福克兰群岛','France': '法国','Gabon': '加蓬','United Kingdom': '英国','Georgia': '格鲁吉亚','Ghana': '加纳','Guinea': '几内亚','Gambia': '冈比亚','Guinea Bissau': '几内亚比绍','Eq. Guinea': '赤道几内亚','Greece': '希腊','Greenland': '格陵兰','Guatemala': '危地马拉','French Guiana': '法属圭亚那','Guyana': '圭亚那','Honduras': '洪都拉斯','Croatia': '克罗地亚','Haiti': '海地','Hungary': '匈牙利','Indonesia': '印度尼西亚','India': '印度','Ireland': '爱尔兰','Iran': '伊朗','Iraq': '伊拉克','Iceland': '冰岛','Israel': '以色列','Italy': '意大利','Jamaica': '牙买加','Jordan': '约旦','Japan': '日本','Kazakhstan': '哈萨克斯坦','Kenya': '肯尼亚','Kyrgyzstan': '吉尔吉斯斯坦','Cambodia': '柬埔寨','Korea': '韩国','Kosovo': '科索沃','Kuwait': '科威特','Lao PDR': '老挝','Lebanon': '黎巴嫩','Liberia': '利比里亚','Libya': '利比亚','Sri Lanka': '斯里兰卡','Lesotho': '莱索托','Lithuania': '立陶宛','Luxembourg': '卢森堡','Latvia': '拉脱维亚','Morocco': '摩洛哥','Moldova': '摩尔多瓦','Madagascar': '马达加斯加','Mexico': '墨西哥','Macedonia': '马其顿','Mali': '马里','Myanmar': '缅甸','Montenegro': '黑山','Mongolia': '蒙古','Mozambique': '莫桑比克','Mauritania': '毛里塔尼亚','Malawi': '马拉维','Malaysia': '马来西亚','Namibia': '纳米比亚','New Caledonia': '新喀里多尼亚','Niger': '尼日尔','Nigeria': '尼日利亚','Nicaragua': '尼加拉瓜','Netherlands': '荷兰','Norway': '挪威','Nepal': '尼泊尔','New Zealand': '新西兰','Oman': '阿曼','Pakistan': '巴基斯坦','Panama': '巴拿马','Peru': '秘鲁','Philippines': '菲律宾','Papua New Guinea': '巴布亚新几内亚','Poland': '波兰','Puerto Rico': '波多黎各','Dem. Rep. Korea': '朝鲜','Portugal': '葡萄牙','Paraguay': '巴拉圭','Qatar': '卡塔尔','Romania': '罗马尼亚','Russia': '俄罗斯','Rwanda': '卢旺达','W. Sahara': '西撒哈拉','Saudi Arabia': '沙特阿拉伯','Sudan': '苏丹','S. Sudan': '南苏丹','Senegal': '塞内加尔','Solomon Is.': '所罗门群岛','Sierra Leone': '塞拉利昂','El Salvador': '萨尔瓦多','Somaliland': '索马里兰','Somalia': '索马里','Serbia': '塞尔维亚','Suriname': '苏里南','Slovakia': '斯洛伐克','Slovenia': '斯洛文尼亚','Sweden': '瑞典','Swaziland': '斯威士兰','Syria': '叙利亚','Chad': '乍得','Togo': '多哥','Thailand': '泰国','Tajikistan': '塔吉克斯坦','Turkmenistan': '土库曼斯坦','East Timor': '东帝汶','Trinidad and Tobago': '特里尼达和多巴哥','Tunisia': '突尼斯','Turkey': '土耳其','Tanzania': '坦桑尼亚','Uganda': '乌干达','Ukraine': '乌克兰','Uruguay': '乌拉圭','United States': '美国','Uzbekistan': '乌兹别克斯坦','Venezuela': '委内瑞拉','Vietnam': '越南','Vanuatu': '瓦努阿图','West Bank': '西岸','Yemen': '也门','South Africa': '南非','Zambia': '赞比亚','Zimbabwe': '津巴布韦','Comoros': '科摩罗'
}
pieces = [{"min": 1000000},{"min": 100000, "max": 999999},{"min": 10000, "max": 99999},{"min": 1000, "max": 9999},{"min": 100, "max": 999},{"min": 0, "max": 99},
]df = pd.read_csv('疫情数据.csv')
# 转成列表
name = df['name']
confirm = df['confirm']
dead = df['dead']
world_map = (Map().add('累计确诊', [list(i) for i in zip(name, confirm)], 'world', name_map=name_map, is_map_symbol_show=False).add('死亡人数', [list(i) for i in zip(name, dead)], 'world', name_map=name_map, is_map_symbol_show=False).set_series_opts(label_opts=opts.LabelOpts(is_show=False)).set_global_opts(title_opts=opts.TitleOpts(title='世界疫情情况'),visualmap_opts=opts.VisualMapOpts(max_=1000000, is_piecewise=True, pieces=pieces))
)
world_map.render('1.html')

文章看不懂，我专门录了对应的视频讲解，本文只是大致展示，完整代码和视频教程点击下方蓝字

点击蓝色字体自取，我都放在这里了。

尾语

Python实战——全球疫情数据采集, 并做可视化相关推荐

【Python实战】全球疫情数据采集, 并做可视化展示
前言
Python疫情数据采集, 并做可视化展示
前言嗨喽!大家好,这里是魔王~ 本次目的 Python疫情数据采集, 并做可视化展示(数据采集, 数据分析) 知识点: 爬虫基本流程 requests 发送请求 re 正则表达式 json 结构化数 ...
玩转PYthon，用Python绘制全球疫情变化地图（好东西，值得一看~~~）
用Python绘制全球疫情变化地图目前全球疫情仍然比较严重,为了能清晰地看到疫情爆发以来至现在全球疫情的变化趋势,我绘制了一张疫情变化地图,完整代码共 230 行,需要的朋友在公众号回复关键字疫情 ...
【疫情动态条形图】用Python开发全球疫情排名动态条形图bar_chart_race
一.开发背景你好,我是 @马哥python说 . 这是我用Python开发的全球疫情动态条形图,演示效果: [python可视化]用Python开发全球疫情动态条形图二.讲解代码 2.1 获取 ...
python爬虫tableau数据分析_完美！Python爬招聘数据，Tableau做可视化分析
原标题:完美!Python爬招聘数据,Tableau做可视化分析交流群预热好久的可视化交互大屏来啦 1.项目背景随着科技的飞速发展,数据呈现爆发式的增长,任何人都摆脱不了与数据打交道,社会对于&q ...
使用Python获取最新疫情数据，制作可视化动态地图，实时展示各地情况
愿世界再无病痛,盼疫情早日结束序言效果展示准备工作代码展示序言疫情降临转眼已经第三年了,时间过得真快,愿疫情早点结束,世界不再多灾多难. 最近疫情稍微好转一些了,所以咱们获取一下最新的疫情 ...
Python网络爬虫爬取招聘数据（利用python简单零基础）可做可视化
爬取Boss直聘相关的招聘数据一.相关需求分析 1.目的二.直聘网页结构分析 1.网页相关值的查找 2.网页的下一页规律查找三.Python相关的第三库介绍 1.Urllib的介绍 (1)url ...
Python采集二手房源数据信息并做可视化展示
目录标题前言环境使用: 模块使用: python技术实现: <基本流程步骤> 代码展示尾语前言嗨喽~大家好呀,这里是魔王呐 ❤ ~! 环境使用: Python 3.8 jupyt ...
【Python实战】高校数据采集，爬虫训练场项目数据储备
在制作爬虫训练场项目时,需要准备大量的数据,供大家学习使用,本系列博客用于数据储备. 文章目录示例代码如下所示数据入库本次要采集的是高考大数据,即 2022 年学校排名,数据来源为百度,地址 ...

Python实战——全球疫情数据采集, 并做可视化

前言

知识点:

开发环境:

基本原理:

思路:

采集代码

可视化代码

尾语

Python实战——全球疫情数据采集, 并做可视化相关推荐

最新文章

热门文章

Python实战——全球疫情数据采集, 并做可视化

前言

知识点:

开发环境:

基本原理:

思路:

采集代码

可视化代码

尾语 insertAdIfNeeded();

Python实战——全球疫情数据采集, 并做可视化相关推荐

最新文章

热门文章

尾语