遥感数据处理系列

一些项目及科研中遇到的小需求，一方面记录自己的学习历程，另一方面帮助大家学习。本系列文章的开发环境为：ArcGIS 10.2.2 + Python 2.7、ENVI 5.3 + IDL 8.5

ArcPy批量计算栅格数据平均值
GLDAS数据下载及处理（NC转TIF）
ArcGIS批量裁剪栅格数据
ArcPy批量栅格重采样
ArcPy批量裁剪栅格数据

IDL多进程批处理遥感数据
ArcPy批量拼接栅格数据

文章目录

遥感数据处理系列
前言
一、URL构造
- 1. 原理简介
- 2. 代码
总结
- 后记

前言

大佬们搞出了各种数据集，并且开放下载、全球共享、打破科研壁垒，促进研究进程。不过，真要用他们的数据集却遇到各种问题。在此记录下~

GLASS数据集提供了两个下载数据的途径：中国国家地球系统科学数据中心共享服务平台，美国马里兰大学。
经测试：数据中心共享服务平台限制文件下载数量；马里兰大学平台下载不受限制，不过，范围和时间的筛选不太友好。经过对文件URL的规律分析，使用Python 2.7构造了下载链接的批量生成，本文以GLASS的FVC数据下载为例展开。

一、URL构造

1. 原理简介

大概思路为：观察目标文件的下载链接 -> 获得下载链接的规律 -> 批量构造下载链接。
下载链接：

http://www.glass.umd.edu/FVC/MODIS/500m/2008/001/GLASS10E01.V40.A2008001.h27v06.2019363.hdf

参数简介：

 2008：目标文件年份文件夹001：目标文件天数文件夹A2008001： 目标文件日期h27v06：目标区域轨道号

修改以上四个字符串即可完成下载链接的构造

2. 代码

# http://www.glass.umd.edu/FVC/MODIS/500m/2008/001/GLASS10E01.V40.A2008001.h28v08.2019363.hdf
site = r'http://www.glass.umd.edu/FVC/MODIS/500m/'
years = ['2008', '2009', '2010', '2011', '2012', '2013', '2014', '2015', '2016', '2017']
days = ['001', '009', '017', '025', '033', '041', '049', '057', '065', '073','081', '089', '097', '105', '113', '121', '129', '137', '145', '153','161', '169', '177', '185', '193', '201', '209', '217', '225', '233','241', '249', '257', '265', '273', '281', '289', '297', '305', '313','321', '329', '337', '345', '353', '361' ]for year in years:for day in days:url1 = site + year + '/' + day + '/' + 'GLASS10E01.V40.A' + year + day + '.h27v06.2019363.hdf'url2 = site + year + '/' + day + '/' + 'GLASS10E01.V40.A' + year + day + '.h27v07.2019363.hdf'url3 = site + year + '/' + day + '/' + 'GLASS10E01.V40.A' + year + day + '.h28v07.2019363.hdf'url4 = site + year + '/' + day + '/' + 'GLASS10E01.V40.A' + year + day + '.h28v08.2019363.hdf'print url1print url2print url3print url4

控制台输出的下载链接保存到文件后，使用 “ Chrome浏览器 -> DownLoadThemAll插件 -> 从文件导入下载链接 ” 完成下载。或是使用 “ 迅雷浏览器 -> 新建下载 ” 完成构造URL后的目标文件下载。

总结

网页文件解析+参数构造，可能要考虑下网速啥的。如果，数据中心平台数据下载限制取消就方便多了。测试下大佬的数据集效果怎么样，先用着（经测试，这个数据集挺棒的！）

后记

写博客的初衷是分享我的一些经验，同时也方便自己在其他电脑上进行数据处理。帮了很多人，但评论区小伙伴也有遇到问题的，那么：知识付费，我的时间和经验正好可以解决你的问题。

GLASS数据批量下载相关推荐

大数据批量下载文件代码
大数据批量下载文件代码 # # 大数据批量下载文件 from multiprocessing import Process import os import pandas as pd import ...
Harvard Dataverse 数据批量下载
最近看论文,看到了自己需要的数据,就想着下载下来,结果发现这个东西并不好下载,也可能是自己的知识存储不够,捣鼓了一天,终于下载下来了.这里记录一下,方便以后查阅. Harvard Dataverse ...
天文数据批量下载笔记
数据批量下载笔记一.astroquery 很多大型巡天项目都提供了下载数据的API方法,因此利用python脚本批量下载数据成为可能.基于已有的API(或者SQL)方法,astroquery整合了多 ...
ECMWF等大气数据批量下载（Python API）详细步骤
ECMWF等大气数据批量下载(Python API) 遥感方向做热红外温度反演,不可避免的要用到大气廓线数据,大气数据具有实时性,比如2018年9月1日的早上8点的影像,为了提高反演精度就需要用到时间 ...
GPM数据批量下载教程
GPM数据批量下载教程 1. GPM数据产品简介 2 查找数据 3. 下载 3.1. 授权 3.1.1 通过 `.netrc` 文件授权 3.1.2 *通过浏览器授权(通过 `.netrc` 文件授权 ...
MODIS冰雪数据批量下载
MODIS冰雪数据批量下载之Python Script 相信有很多的朋友在研究极地(南北两极)的冰雪吧,下数据可能对于某些大小同行来说是一个头疼的问题,本文在这里就介绍一种批量爬取数据的方法. 数据下 ...
Sentinel-2 (哨兵2号) 数据批量下载教程 [python]
Sentinel-2 [哨兵2号] 数据批量下载教程 [python] 1. 选择数据 2. 数据下载 2.1 下载链接文件 2.2 安装Python及data_downloader包 2.3 创建. ...
1、EC气象数据批量下载
EC气象数据批量下载前言一.前期准备 1. 配置Python环境 2. 安装依赖库: 3. 注册EC账户并获得Key 3.1 注册账户 3.2 获取API信息 4. 选择数据二.编写脚本开始下载 ...
使用Google Earth Engine (GEE)实现MODIS数据批量下载
使用Google Earth Engine GEE实现MODIS数据批量下载前言下载数据代码批量执行run任务关注公众号,分享GIS知识.ArcGIS教程.SCI论文与科研日常等前言上图是 ...
GLASS数据批量处理
遥感数据处理系列一些项目及科研中遇到的小需求,一方面记录自己的学习历程,另一方面帮助大家学习.本系列文章的开发环境为:ArcGIS 10.2.2 + Python 2.7.ENVI 5.3 + ID ...

GLASS数据批量下载