中央气象台气象监测数据爬取Python实战分析
博主已经开通微信公众号啦，欢迎关注哈！
天气预报是我们日常生活中接触和使用频度比较高的一种数据类型， 国家和各个地方也都设立了相应的专责机构负责气象数据的解析、处理和预报发布等工作，今天本文主要是对中央气象台网站中实时更新和发布的数据进行采集分析处理。
我们以杭州为例，打开对应页面数据截图如下：
可以看到是八点刚刚更新的数据，这个网站里面提供的数据更新粒度是3小时，也就是每3个小时动态刷新一次数据。
往下面拉动页面，可以看到更加详细的数据内容：
这些内容区块就是我们需要获取的数据内容，首先基于selenium获取到所有省份的编码数据以及下属各个区县的编码数据信息，这里同样以浙江省为例，部分数据信息如下：
我们以杭州市页面链接为例进行分析，如下：
http://www.nmc.cn/publish/forecast/AZJ/hangzhou.html从上面我们可以看到：http://www.nmc.cn/publish/forecast/ 是所有城市详情页面数据的共同前缀，之后的AZJ表示的是浙江省省份编码信息，hangzhou表示的是杭州市的编码信息，最后拼接上“.html”就是一个城市的详情数据页面的URL了。
基于上面的URL结构分析后我们可以自动地构建待爬取城市的URL数据，之后交由爬虫完成数据的爬取。
为了方便使用，我们在进行数据爬取之前，会利用dict数据类型完成中文省份、城市与对应编码数据的映射关系，具体实现如下：
之后就可以编写数据爬虫了，实现如下：
如果需要对全国区域数据进行获取，可以使用下面的方法：
单次数据爬取结果如下所示：
"12-09-22-15": {"temperate": {"day": {"today_temperate": "1\u2103","now_temperate": "\u6c14\u6e29"},"three_hour": {"12-10-11:00": "5.7\u2103","12-10-17:00": "5.7\u2103","12-10-05:00": "2.2\u2103","12-10-20:00": "5.5\u2103","12-09-23:00": "1.2\u2103","12-10-08:00": "3.4\u2103","12-10-02:00": "1.8\u2103","12-10-14:00": "5.8\u2103"}},"wind_speed": {"day": {"today_winds": "3~4\u7ea7","now_winds": "\u98ce\u5411\u98ce\u901f"},"three_hour": {"12-10-11:00": "1.3\u7c73/\u79d2","12-10-17:00": "1\u7c73/\u79d2","12-10-05:00": "1\u7c73/\u79d2","12-10-20:00": "2.1\u7c73/\u79d2","12-09-23:00": "0.7\u7c73/\u79d2","12-10-08:00": "0.8\u7c73/\u79d2","12-10-02:00": "0.3\u7c73/\u79d2","12-10-14:00": "1.4\u7c73/\u79d2"}},"wind_direction": {"day": {"now_windd": "\u98ce\u5411\u98ce\u901f","today_windd": "\u65e0\u6301\u7eed\u98ce\u5411"},"three_hour": {"12-10-11:00": "\u5317\u98ce","12-10-17:00": "\u897f\u5317\u98ce","12-10-05:00": "\u5317\u98ce","12-10-20:00": "\u897f\u5317\u98ce","12-09-23:00": "\u5317\u98ce","12-10-08:00": "\u5317\u98ce","12-10-02:00": "\u5317\u98ce","12-10-14:00": "\u897f\u5317\u98ce"}},"humidity": {"day": {"today_humidity": "null","now_humidity": "\u76f8\u5bf9\u6e7f\u5ea6"},"three_hour": {"12-10-11:00": "98%","12-10-17:00": "99.4%","12-10-05:00": "99.7%","12-10-20:00": "92.1%","12-09-23:00": "98.8%","12-10-08:00": "99.6%","12-10-02:00": "99.3%","12-10-14:00": "97.9%"}},"water": {"day": {"now_water": 0,"today_water": "null"},"three_hour": {"12-10-11:00": "2.3","12-10-17:00": "2.5","12-10-05:00": "0.6","12-10-20:00": "2.8","12-09-23:00": "1.6","12-10-08:00": "0.5","12-10-02:00": "0.9","12-10-14:00": "2.5"}},"pressure": {"day": {"today_pressure": "null","now_pressure": "null"},"three_hour": {"12-10-11:00": "1016.6hPa","12-10-17:00": "1013.7hPa","12-10-05:00": "1016.5hPa","12-10-20:00": "1013.7hPa","12-09-23:00": "1018.9hPa","12-10-08:00": "1016.7hPa","12-10-02:00": "1017.3hPa","12-10-14:00": "1014.1hPa"}},"weather": {"day": {"now_weather": "null","weather_png_link": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/night/7.png","today_weather": "\u5c0f\u96e8"},"three_hour": {"12-10-11:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/7.png","12-10-17:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/7.png","12-10-05:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/7.png","12-10-20:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/7.png","12-09-23:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/6.png","12-10-08:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/7.png","12-10-02:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/6.png","12-10-14:00": "http://image.nmc.cn/static2/site/nmc/themes/basic/weather/white/day/7.png"}},"cloud": {"day": {"now_cloud": "null","today_cloud": "null"},"three_hour": {"12-10-11:00": "100%","12-10-17:00": "99.2%","12-10-05:00": "100%","12-10-20:00": "97.8%","12-09-23:00": "100%","12-10-08:00": "97.9%","12-10-02:00": "100%","12-10-14:00": "100%"}}}学习记录了！
中央气象台气象监测数据爬取Python实战分析相关推荐
- Python爬虫实战(四) Python鬼灭漫画爬取+简单JS分析
本次爬取仅供学习,无任何商业用途 猪油骨,拿来卤~今天,来分享一下python图片爬取+简单JS分析 爬取网址:漫画地址 (这个网站只更新到188话,实际上已经有200多话了) 目录 一.获取所有章节 ...
- 基于python的汽车信息爬取与可视化分析系统
温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 本项目利用网络爬虫技术从某汽车门户网站采集汽车数据,并利用 Flask + Echarts 前后端框 ...
- python爬虫爬取新闻实战01：小白如何迅速学会爬虫爬取上千条新闻
爬虫爬取新闻实战01:小白如何迅速学会爬虫爬取千条新闻 文章目录 爬虫爬取新闻实战01:小白如何迅速学会爬虫爬取千条新闻 1.前言 2 .爬虫原理介绍 2.1.图片爬虫 2.2 文字爬虫 3.用八爪鱼 ...
- python爬猫眼电影影评,Python系列爬虫之爬取并简单分析猫眼电影影评
前言 今天给大家介绍利用Python爬取并简单分析猫眼电影影评.让我们愉快地开始吧~ 开发工具 Python版本:3.6.4 相关模块: requests模块: pyecharts模块: jieba模 ...
- Python爬虫——豆瓣评分8分以上电影爬取-存储-可视化分析
本文就豆瓣8分以上电影进行爬取-存储-可视化分析. 不足之处欢迎在评论区指出讨论. 当然,如果觉得不错,要帮助的话,还请点个赞. 目录 数据爬取 分析网页 动态网页和静态网页 获取信息 获得二级信息 ...
- 【爬虫+数据可视化毕业设计：英雄联盟数据爬取及可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】
[爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩] https://b23.tv/TIoy6hj
- python爬取豆瓣短评_爬取并简单分析豆瓣电影短评
导语 利用Python爬取并简单分析豆瓣电影短评. 说起来挺逗的,去年爬豆瓣短评的时候还是可以爬个几万条数据的,昨天我还想着终于可以起个唬人的标题了,什么爬取了xxx电影的xxx万条数据. 于是昨晚写 ...
- 基于Python的拉勾网Python工程师招聘信息的爬取和处理分析
目录 一.项目简介 1.项目完成的功能 2.项目完成的特色 3.项目采用的技术栈 二.项目的需求分析 1.项目的功能需求分析 2.项目的非功能需求分析 系统性能需求 系统观感需求(界面需求) 三.项目 ...
- 哪吒票房逼近40亿，用python爬取哪吒短评分析
目录 前言 分析 具体步骤 登录 爬取与存储 可视化分析 结语 前言 暑期档电影惨淡,但随着哪吒爆红开拓了新局面.这也是国产动画的首次爆红.在哪吒刚出,笔者以为最多10亿就算不错的了.没想过仅过了几天 ...
- python画哪吒_哪吒票房逼近30亿，python爬取哪吒短评分析
目录 前言 分析 具体步骤 登录 爬取与存储 可视化分析 结语 前言 暑期档电影惨淡,但随着哪吒爆红开拓了新局面.这也是国产动画的首次爆红.在哪吒刚出,笔者以为最多10亿就算不错的了.没想过仅过了几天 ...
最新文章
- asp.net调用opencv类库，实现图像处理显示
- 《LeetCode力扣练习》第617题 合并二叉树 Java
- iphone微信美颜插件_Cydia插件推荐
- 3秒获得Win11系统管理员权限，微软高危漏洞被公开，只因悬赏奖金打骨折
- 屏蔽机房设计时需要注意什么 ？如何更好维护使用屏蔽机房？
- wxWidgets：wxListItem类用法
- Java反射机制概念及应用场景
- alpine_glibc 构建sun jdk 8的docker镜像
- dz论坛服务器技术支持,服务器更换 升级 dz论坛首页 dz其他页面打开为空白解决方法...
- 查看云服务器系统的命令,查看云服务器系统的命令
- Hadoop平台搭建
- AEAI Miscdp文件上传功能使用心得
- 阅读《http权威指南》
- IntelliJ IDEA团队开始在中国招人了
- grab显示服务器报错,grab链接不到服务器怎么解决
- RabbitMQ延时队列
- 难道爱一个人有错吗 郑源
- 基于RTU的水情水文自动化监测系统
- 学生个人网页制作html代码(源码)
- 配置OPENCV出现的问题