批量下载modis数据（下）

关键词：modis，selenium，Python，批量下载

上文中讲到如何通过Python获得所需modis影像的下载链接，本文中将讲述如何通过Python根据下载链接进行下载。

首先需要准备的是chrome浏览器和与之对应版本的chromedriver.exe，通过selenium库进行下载。

利用selenium控制chromedriver打开chrome，使用get方法访问NASA个人界面，获得账号密码元素并输入账号密码，获得登录按钮并自动点击，页面跳转，访问成功。

s = Service(r'chromedriver的目录')
wd = webdriver.Chrome(service=s)
wd.get('https://urs.earthdata.nasa.gov/home')                # 访问NASA个人界面
wd.find_element(By.ID, 'username').send_keys('我的账号')      # 账号
wd.find_element(By.ID, 'password').send_keys('我的密码')      # 密码
wd.find_element(By.CSS_SELECTOR, '[value="Log in"]').click()

下一步读取下载链接txt，将txt内的所有链接存放到一个列表，便于遍历。

with open(link_path, 'r') as f:links = [i.replace('\n', '') for i in f.readlines()]

遍历列表，依次访问下载链接，便可下载至临时目录。

for url in links:js = "window.open('" + url + "');"  # 访问下载界面wd.execute_script(js)

这样就能自动下载了。

然后再增加亿点点细节。

比如：可以设置灵活等待时间为120秒。

wd.implicitly_wait(120)

为了避免下载的文件错误，先将文件下载至临时目录，增加检查步骤。

可以借助osgeo下的gdal库来检查下载的hdf文件是否完整，用gdal打开hdf文件，依次打开内部的数据集，并将数据转为数组，如果这个过程中没有报错，说明该文件完整可用，再将文件转移到目标目录中。

def check_hdf(path):hdf = gdal.Open(path)sds = hdf.GetSubDatasets()for i in sds:ds = gdal.Open(i[0])arr = ds.ReadAsArray()

有时候目标文件夹中已经下载好了一部分文件，就不需要重复下载，可以增加一步判断，减少时间浪费。将目标文件夹中已经下载好的文件记录在列表havedone中，如果访问下载链接下载的文件在havedone中，则不需要下载。

file_folder = os.path.join(out_folder, product, tile)
if not os.path.exists(file_folder):os.makedirs(file_folder)
havedone = os.listdir(file_folder)
if url.split('/')[-1] in havedone:print(url, '已下载')continue

也有可能在下载前临时文件夹中也存在一部分下载好的文件，可以检查这些文件是否完整，若完整则剪切至目标目录中，并将其追加在havedone列表中。

此外，需要灵活设置下载链接间的缓冲时间，不能访问第一个下载链接后又立刻访问下一个链接，不然电脑直接死给你看……

可以在访问下载链接后，设置一个等待时间为wait_time秒，可以根据hdf文件的大小进行调整，时间设置得越短，浏览器访问得越频繁（如果网络不好，可能会出现全部访问失败的情况……），时间设置得越长，越有可能产生时间上的浪费，效率变低。

由于第一次访问需要登录验证，时间会稍长，可以将这个时间设置长一些（20 - 40秒）。

wait_time = 10
if len(wd.window_handles) == 2:time.sleep(20)
else:time.sleep(wait_time)

同理，也可以通过限制浏览器标签数来限制同一时间访问的链接数，这么做也是为了避免访问太多浏览器挂掉，因为访问链接并不是一瞬间就完成的，即使设置了等待时间，也并不代表这次访问在设定的时间内一定能完成，这就可能出现浏览器的标签越来越多，产生意料之外的后果。我们可以设置浏览器标签数目阈值，在访问链接前，先读取当前标签数，判断是否大于该阈值，如果是，则再等待wait_time秒，如果否的话，则直接进行访问。

更完善一点，可以设置一个最大等待时间thr_quit秒，这个值可以设置得大一些，如果超过标签数目阈值的状态持续时间超过最大等待时间，说明很有可能所有的访问全部失效了，再等下去也没有意义，可以将临时目录中的文件检查后移动至目标目录，然后关闭浏览器，重新再开一个进行下载。

thr = 6
thr_quit = 160
flag = True
btime = time.time()
while len(wd.window_handles) >= thr:if time.time() - btime > thr_quit:flag = Falsewd.quit()breakelse:havedone = moving(havedone)time.sleep(wait_time)
if flag:js = "window.open('" + url + "');"  # 访问下载界面wd.execute_script(js)if len(wd.window_handles) == 2:time.sleep(20)else:time.sleep(wait_time)

以上就是全部的modis影像下载步骤，需要本篇完整代码的看官移步公众号回复关键字'modis'便可获得。

公众号：小猪被骑的日常

批量下载modis数据（下）相关推荐

关于批量下载MODIS数据的坑
关于批量下载MODIS数据的坑与正确姿势 1. 第一个坑 1.1 Ladsweb的坑由于之前做项目的时候去Ladsweb官网下载数据的时候还好好的,于是经过被批评改正之后回来就信心满满地去Ladsw ...
再谈批量下载Modis数据之Google earth engine
再谈批量下载Modis数据之Google earth engine 最近在学习GEE,就拿Modis数据练个手.本文选用MOD13A1 NDVI产品为例,介绍如何通过gee来批量下载Modis数据到本 ...
用python批量下载modis数据的速度怎么样_MODIS数据的简介和下载（五）——应用密钥的Python脚本下载...
接上文,由于NASA官方弃用了FTP改用HTTPS服务,所以关于MODIS数据的下载方式有所改变.完整系列博客可以参照以下链接.本篇主要接着上一篇没有讲完的应用密钥的脚本下载介绍. 1 官方教程与说明 ...
谷歌浏览器批量下载数据，以批量下载modis数据为例
这是最近我在下载MOD09A1数据时,总结的经验,以便在日后用到的时候查阅,同时向小伙伴们分享一下. 文章可能有点长,但是很详细,想要通过谷歌浏览器批量下载数据,都可以参考本文. 一.所需材料与配置 ...
LAADS批量下载MODIS数据
由于科研需要,近期需要补充下载一些MODIS产品数据,由于上次下载已经是两三年前,当时NASA并没有对数据进行加密,可以不登录轻松下载,很轻松不需要记,最近一两年,自从LAADS改版以来,下载数据没原 ...
用python批量下载modis数据的速度怎么样_批量下载MODIS数据
首先呢,说明一下,这个专栏主要记录一点IDL处理数据的一些小.因为自己学的是遥感,IDL初步在学,平时会写一点小程序处理一些数据.所以就想分享一下. 需要的软件 IDL和IDM IDM下载链接:htt ...
利用Python在NASA Earthdata Search 上批量下载MODIS数据
1.下载网址:https://search.earthdata.nasa.gov 2.第一步:注册账号,右上角Earthdata Login,如实注册,身份可以选择教育.用途可以选择科研团队,记得添加 ...
python批量下载modis数据（可筛选日期、范围、数据类型）
找了一圈下modis数据的,有的不能空间筛选有的不能下初级产品(也可能没找到),不甚满意,自己搞了个 23年2月3日更新,原文章里获取所有a标签的地址这一步可以替换为更新章节里直接通过接口获取了. 更 ...
NASA Earthdata Search批量下载modis数据
最近我使用Modis数据的频率比较高,需求的数据量也庞大,只能去NASA官网去下载了,本来想用IDM的批量抓取下载奈何今天一下午NASA的网站都很不稳定都是这个状态 502-- 迫于无奈终于摸索出了 ...

批量下载modis数据（下）

批量下载modis数据（下）相关推荐

最新文章

热门文章