python气象卫星云图解析_02_中央气象台
简述
最近发现气象数据很适合进行Python分步完成抓取练习,检索各类资源对比发现中央气象台数据相对完整,类型也较为丰富,故计划针对不同类型分别练习。抓取数据请勿存档,商用请联系官方。
爬取对象
抓取中央气象台卫星云图
使用包
import time, os #定时抓取
import requests
from bs4 import BeautifulSoup
import datetime #精确时间
实现步骤
1、抓取对象分析
通过分析图片列表得知其图片均按时间在播放器下端以小图形式展示,故不用进行翻页操作。
图片列表
观察小图布局,得知图片与时间一一对应,ok,文件名也可以获取了,初步分析完成。
单个图片
2、抓取与本地保存核心代码
for image_li in list_soup.find_all('li'):
image_name = image_li.find('p', attrs={'class': 'time'}).getText().replace(':','_')
img_small = image_li.find('p', attrs={'class': 'img'}).find('img')["data-original"] #小图
img_localhost = folder + '\\' + image_name + '.jpg'
img_req = requests.get(img_small, timeout=20)
with open(img_localhost, 'wb') as f:
f.write(img_req.content)
3、优化
继续分析页面中内容,发觉播放器中有放大图片功能,恩,要爬就爬高清图。
对比小图URL与播放器中放大图片URL布局,得知存取目录不一致。
http://image.nmc.cn/product/2017/03/10/WXCL/small/SEVP_NSMC_WXCL_ASC_E99_ACHN_LNO_PY_20170310081500000.JPG?v=1489134787788
http://image.nmc.cn/product/2017/03/10/WXCL/SEVP_NSMC_WXCL_ASC_E99_ACHN_LNO_PY_20170310081500000.JPG?v=1489134788000
更新图片路径
img_small = image_li.find('p', attrs={'class': 'img'}).find('img')["data-original"] #小图
img_big = img_small.replace('small/','')
本次爬取对象数据定时更新,故增加定时执行功能
def re_exe(cmd, inc = 60):
while True:
os.system(cmd);
main()
time.sleep(inc)
# N秒 执行一次
re_exe("echo %time%", 1800)
增加程序稳定性,判断目录是否存在、文件是否已下载
if os.path.exists(folder) == False:
os.makedirs(folder)
#如果文件不存在,且大小不为 0 字节,开始下载另存
if os.path.isfile(img_localhost) == False or os.path.getsize(img_localhost) == 0:
将其他感兴趣图集整理处理
#下载清单
DOWNLOAD_URL = [("能见度","seaplatform1","http://www.nmc.cn/publish/sea/seaplatform1.html"),("风","hourly-winds","http://www.nmc.cn/publish/observations/hourly-winds.html"),("气温","hourly-temperature","http://www.nmc.cn/publish/observations/hourly-temperature.html"),("小时降雨量","hourly-precipitation","http://www.nmc.cn/publish/observations/hourly-precipitation.html"),("卫星云图","fy2", "http://www.nmc.cn/publish/satellite/fy2.htm")]
for title, folder, url in DOWNLOAD_URL:
#print(title, folder, url)
html = download_page(url)
总结
本轮示例主要复习了图片抓取,完善文件夹、文件处理,针对动态(更新较为频繁)网站设置自动抓取任务,完成后感觉本地连播此类图片还是挺有意思的……
完整代码
Paste_Image.png
python气象卫星云图解析_02_中央气象台相关推荐
- python气象卫星云图解析_使用 PyQt 滚动播放卫星云图
自从 和 GNOME 开发者接触过 之后,我决定放弃断断续续学了一段时间的 GTK 而转向 Qt 了.看了两三天的 PyQt4 tutorial ,恰好遇到一需要界面的脚本,本来我会搞成 Web 的, ...
- python气象数据可视化学习记录1——基于ERA5数据画风场和海平面气压填色叠加图
python气象数据可视化学习记录1--基于ERA5数据画风场和海平面气压填色叠加图 1. 写在前面 2. 图片效果 3. 逐步代码解析 3.1导入库 3.2 读取NC格式数据 3.3 对数据进行加工 ...
- python气象科研学习路线和常用技巧
python气象科研学习路线和重点知识 前言 经过一个学期的气象相关编程,觉得气象常用的一些库在这里总结一下,学习路线是我根据自己经验总结的,有大佬觉得哪里需要补充的可以私我.我也在不断学习,之后有新 ...
- python 使用sax 解析xml 文件
这里不是说xml 的所以如果xml 不了解,可以百度大致看下即可, SAX知识了解 SAX (simple API for XML ) 有解析器和事件处理器 解析器负责读取XML文档,并向事件处理器 ...
- 电子学会青少年编程等级考试Python一级题目解析12
Python一级题目解析 1.题目(2021.03) 写一个计算长方形面积的程序,并对每行代码进行相应的注释,要求如下: (1)采用多行注释,说明程序的功能(如下): "计算长方形的面积 并 ...
- 电子学会青少年编程等级考试Python一级题目解析10
Python一级题目解析 1.题目 下面代码的执行结果是() a = 123456789 b = "*" print("{0:{2}>{1},}\n{0:{2}^{ ...
- 电子学会青少年编程等级考试Python一级题目解析11
Python一级题目解析 题目 (1)下列哪个不是Python的保留字?( )[2020.06] A. if B. or C. do D. for (2)下面哪一个不是Python的保留字?( )[2 ...
- 电子学会青少年编程等级考试Python一级题目解析03
「青少年编程竞赛交流群」已成立(适合6至18周岁的青少年),公众号后台回复[Scratch]或[Python],即可进入.如果加入了之前的社群不需要重复加入. Python一级题目解析 1.题目[20 ...
- python使用argparse解析命令行参数
python使用argparse解析命令行参数 你的程序如何能够解析命令行选项(位于sys.argv中) #示意使用sys.argv进行参数解析: #注意,sys.argv中第0个索引是函数本身,所以 ...
- python列表的解析(转)
原文:http://blog.csdn.net/xiaobuding007/article/details/78726833 https://www.cnblogs.com/liu-shuai/p/6 ...
最新文章
- 在 Java 应用程序中使用 Elasticsearch: 高性能 RESTful 搜索引擎和文档存储快速入门指南
- 百度王一男: DevOps 的前提是拆掉业务-开发-测试-运维中间的三面墙
- SAP Basis Consultant Job Role
- mysql 4升级,MySQL_Sql_打怪升级_进阶篇_进阶4:常见函数
- 放弃使用 15 年的 macOS,我决定换成 Linux!
- [Objective-C]ARC中NSString *与CFStringRef的相互转换
- Debug JDK源码没变量值怎么办?
- 今晚直播丨易鲸捷HTAP融合型分布式数据库问题诊断介绍
- Android打字机动画,Android 打字机效果
- 搭建我的云端服务器环境
- Typescript浅尝
- 粗糙集理解之二:属性约简
- Symantec赛门铁克官网下载地址
- Ubuntu18.04屏幕分辨率问题
- c语言程序设计5*5矩阵求出,实用C语言程序设计教程5数组和矩阵ppt221.ppt
- JS之setInterval方法
- 若依主子表el-table 校验
- 测回角值计算用计算机,用测回法观测水平角,若半测回角值计算时右目标读数小于左目标读数,则应()。...
- 一种二阶Biquad滤波器
- 串口小票打印机调试命令