批量下载中国气象科学数据共享网的数据

由于项目需要，需要下载站点的降雨量和蒸散发数据，但是这网站做的又特别不人道，超过50M数据量无法直接下载，需要定制，定制后说提供ftp下载，尼玛打开定制记录，一条条记录在哪摆着，说好的ftp呢，一个个下这还不得点死。还好借用wget可以较容易实现批量下载，但这期间也遇到了不少问题，刚下没几条，就提示“当前下载用户过多，请稍后下载”，那就等吧，尼玛劳资凌晨起来下数据，还给提示这个，这是做的什么破玩意，还让不让下数据了，一气之下就用账号留了言，然后发了伊妹儿，果然第二天就可以稳当下数据了。。一步步来看如何实现数据的批量下载。

（1）登陆后点击定制记录可以看到摆着的一条条数据文件名，如下图所示。

（2）点击F12查看网页源码，如下图所示，可以看到每一条数据的下载地址和数据文件名；把整个网页的源码复制粘贴到一个新建的txt文本文件中，只需写一个简单的文本处理工具就可以把数据下载地址和文件名提取出来，这里已经写好，会和wget一起打包共享给大家。

（3）提取数据下载地址和数据文件名。这里的下载地址在源码的基础上添加了http://cdc.cma.gov.cn；提取的下载文件具体格式为：<下载地址><空格><文件名>，将文件保存在批量下载工具根目录即可，文件名为cma_src.txt,如下图所示

（4）使用wget批量下载数据

新建一个wget.bat文件，输入以下代码：

@echo off
.\wget-1.11.4-1-bin\bin\wget --post-data="userid=your_user_id&password=your_password" --save-cookies=cookie_wget --keep-session-cookies "http://cdc.cma.gov.cn/login.do"

for /F "tokens=1*" %%i in (cma_src.txt) do (
.\wget-1.11.4-1-bin\bin\wget --load-cookies=cookie_wget -c %%i -O .\data\%%j
)

需要修改的是用户名和密码，然后点击双击运行即可实现数据的批量下载。

最后附上工具下载地址：http://download.csdn.net/detail/liushuo_whu/8415929。

-------------------------------2016年1月3日---------------------------------

气象网更新了，现在叫中国气象数据网，现在的数据检索需要生成订单，处理完成后以压缩包的形式下载，其中每个订单对应一个动态生成的ftp用户名和密码，如下图：

转存失败重新上传取消转存失败重新上传取消转存失败重新上传取消

这点是比以前要好了，以前的都是一条条的记录，现在可以打包下载了。但是还存在另外一个问题，就是如果检索的数据有几千条，分了好多页，无法全选加入数据框，只能一页页的选择，不过还是比以前要好了。

批量下载中国气象科学数据共享网的数据相关推荐

爬虫学习——批量在中国气象中心网站检索下载数据
批量在中国气象中心网站检索下载数据前几天嗓子不舒服之后就病了,不过现在好一点.最近师哥喊我通过国家气象中心网站帮他下载时间跨度比较长的气象数据,但是这个网站对不同的数据集检索有日期要求,也就是说有的 ...
Python批量下载CHIRPS气象数据并完成解压裁剪等
文章目录前言一.CHIRPS是什么? 二.实现步骤 1.下载数据 2.解压缩 3.批量裁剪三.完整代码如下四.代码结果前言最近需要下载气象数据--CHIRPS,借助之前学的批量下载哨兵 ...
Python脚本使用CDSAPI批量下载ERA5气象数据
使用Python脚本从 Copernicus Climate Data Store (CDS) 检索气象数据具体地,需要检索变量(geopotential.relative_humidity.tem ...
Google Earth Engine（GEE）——下载中国区域内的MCD19A2 AOD数据（tif格式）
今天写这篇文章主要是为了解答关于一个粉丝的问题,具体问题见下图: 针对这个问题我做一个简单的示范,首先,之前对于AOD数据用的比较少,但是现在我们交给大家的是关于如何去下载这么一个流程的套路,所以,这 ...
matlab湿度廓线,中国气象数据网
"中国气象科学数据共享服务网"的气象卫星资料与国内其他气象卫星资料发布平台的最大不同之处,在于卫星数据资源内容不同且时间序列相当完整.而且, (1)数据获取更便捷.在线获取数据无需 ...
matlab读气象数据,中国气象数据网
"中国气象科学数据共享服务网"的气象卫星资料与国内其他气象卫星资料发布平台的最大不同之处,在于卫星数据资源内容不同且时间序列相当完整.而且, (1)数据获取更便捷.在线获取数据无需 ...
中国地球科学相关数据共享平台汇总（持续更新）
写在前面: 本文只是汇总了国内有关地球科学系统领域的数据共享平台.也仅是个人用的网页收藏夹,在此备份.部分网站有简单的介绍,也有个人使用心得.如有转载请注明出自本人博客即天地一沙鸥GW CSDN博客. ...
你还在逐年下载统计年鉴，逐个选取统计指标吗？批量下载你值得拥有！
中国知网,免费批量下载,统计年鉴及其相关的指标数据,本文来源连接如下: https://mp.weixin.qq.com/s/JN3d0_o-o-4jNLkMtiaWjQ
蓝奏云批量下载修复版 v0.3
蓝奏云可以说的上是一款下载速度快且小巧的小工具,找电子资源的时候都可以随意下载完成,但是由于有的电子资源文件比较多,又因为蓝奏云没有批量下载这一项功能.因此小编今天为大家带来了蓝奏云批量下载器,是该作 ...
element-ui实现下载动态进度条，可实现批量下载，附Blob文件类型对照表
element-ui实现下载动态进度条,可实现批量下载,附Blob文件类型对照表 ①页面结构使用element-ui的进度条组件,示例为圆形,具体样式根据需求确定 <el-button>下 ...

批量下载中国气象科学数据共享网的数据

批量下载中国气象科学数据共享网的数据相关推荐

最新文章

热门文章