关于批量下载MODIS数据的坑与正确姿势

1. 第一个坑

1.1 Ladsweb的坑

由于之前做项目的时候去Ladsweb官网下载数据的时候还好好的，于是经过被批评改正之后回来就信心满满地去Ladsweb下数据了，于是。

这是打开Ladsweb之后的正常操作，可能被爬的太狠了，于是鄙人考虑是封了这边的人登陆，于是鄙人请那边的人用那边的网登陆那边的网络，结果是同样的操作，emmmm那么就不用想了，网炸了。中间其实还有选择之后选不出条带的情况或者选完了还爆error的情况我就不放图了。红色不大好。

1.2 NASA search不友好

为啥那么说呢，第一个是因为这个Bad Gateway守门员，第二个就是如果批量下载数据的话你需要一个earthdata的账户，嗯，虽然许多blog都说需要gmail或者Facebook但经过同僚与我的验证，其实只要能科学上网就OK了，主要是有个人机交互界面，如果没有科学上网就会注册不了。

2. 第二个坑

如果历尽千幸万险之后Get到了订单之后，后面处理的效率还是挺高的，不像之前去气象网下数据，2个txt处理了半个小时，然后数据还只有6组数据能用，但是要下下来就没有那么舒服了，如果你有足够的耐心的话可以手动点，之前下载10年数据的时候不懂事就10个慢慢点，但是这次10年的数据需要大概300多个数据，每个数据200多M所以单点就不合适了。于是鄙人开始了踩雷之旅。

2.1 IDM

什么是 IDM 呢，全称是（Internet Download Manager），类似爬虫爬数据再自己选择需要的数据下载。

这个是IDM下载的官网，全英虽可还行但是下面可能就不太舒服了。

嗯，下载之后只是试用，如果想try的话还是要支援下作者，毕竟智力劳动毕竟辛苦。
那么也附上IDM下载链接吧！
link.http://www.internetdownloadmanager.com/
下完之后有傻瓜式的操作让你配谷歌的拓展工具，当然你也可以用别人blog里的方法来配置，这里就不再多叙述了。
当你信心满满地爬到链接数据的时候，你却发现。

没错，因为这个插件还是需要上NASA的官网，所以还是会error，那么照样得GG。所以两位斗士放弃了这种choice.

3 第三个坑

3.1 pyhton结合wget方法下载

如果有Arcgis的话自带python2.7所以下载的时候要注意配环境，至于配环境，移步另外blog。
在NASA download script里有一个python 脚本，下载下来，这个只是部分截图，但是下载下来是.txt需要改后缀名为.py

用这个script之前你需要下载wget，由于是用mac电脑下的，为不闲麻烦就用homebrew再 brew了wget，比较方便，外面的帖子都是挺成熟的，只要去看就行。NASA官网有代码有三个参数要改。只要看看，然鹅鄙人尝试了半天就给我报错。

wget -e robots=off -m -np -R .html,.tmp -nH --cut-dirs=3 "https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/501383976/" --header "B75F2548-F310-11E9-9BEB-C905D05A9C21" -P /Users/dadadadahuang/Desktop/modis

前面是一些附加的改正参数。在邮箱里或者官网都给解释了。
对照下前面参数就行，dir=3后面有3个要改正的，第一个是下载的链接，这个在发给你的信息里有。第二个是一个appKey，这个在NASA里生成，第三个是你要放置文件的地址。
在cmd或者终端输入。然而鄙人还没成功，还需要尝试。
以后成功再写blog。已经成功了，详情请看我后面的博客
利用python批量下载MODIS数据

4. Downthemall的坑

后来看到blog就想用firefox的这个插件，一开始看到下图

很开心，终于要成功了，然鹅，看这个数据量，154B后面，不用想知道有问题了，于是在Modis Tool里放入想重投影于世。
之后这堆文件就静静地躺在鄙人的回收站里里。
对了downthemall这个插件只要在firefox的插件里搜索一下即可下载了

5. 最后成功

这堆数据还在下，等着上课就让它去跑就ok了，至于如何下载的话需要看我同僚的blog，利用earthdata和downthemall，链接的话。

传送门: https://blog.csdn.net/weixin_43010839/article/details/102653105 .替他推销下，顺便也安慰下为批量下载奋斗一天的两个斗士。
后期批量重投影和重采样等成功了也会有blog记录的。天黑了，该休息了。

关于批量下载MODIS数据的坑相关推荐

再谈批量下载Modis数据之Google earth engine
再谈批量下载Modis数据之Google earth engine 最近在学习GEE,就拿Modis数据练个手.本文选用MOD13A1 NDVI产品为例,介绍如何通过gee来批量下载Modis数据到本 ...
用python批量下载modis数据的速度怎么样_MODIS数据的简介和下载（五）——应用密钥的Python脚本下载...
接上文,由于NASA官方弃用了FTP改用HTTPS服务,所以关于MODIS数据的下载方式有所改变.完整系列博客可以参照以下链接.本篇主要接着上一篇没有讲完的应用密钥的脚本下载介绍. 1 官方教程与说明 ...
谷歌浏览器批量下载数据，以批量下载modis数据为例
这是最近我在下载MOD09A1数据时,总结的经验,以便在日后用到的时候查阅,同时向小伙伴们分享一下. 文章可能有点长,但是很详细,想要通过谷歌浏览器批量下载数据,都可以参考本文. 一.所需材料与配置 ...
LAADS批量下载MODIS数据
由于科研需要,近期需要补充下载一些MODIS产品数据,由于上次下载已经是两三年前,当时NASA并没有对数据进行加密,可以不登录轻松下载,很轻松不需要记,最近一两年,自从LAADS改版以来,下载数据没原 ...
用python批量下载modis数据的速度怎么样_批量下载MODIS数据
首先呢,说明一下,这个专栏主要记录一点IDL处理数据的一些小.因为自己学的是遥感,IDL初步在学,平时会写一点小程序处理一些数据.所以就想分享一下. 需要的软件 IDL和IDM IDM下载链接:htt ...
批量下载modis数据（下）
关键词:modis,selenium,Python,批量下载上文中讲到如何通过Python获得所需modis影像的下载链接,本文中将讲述如何通过Python根据下载链接进行下载. 首先需要准备的是c ...
NASA Earthdata Search批量下载modis数据
最近我使用Modis数据的频率比较高,需求的数据量也庞大,只能去NASA官网去下载了,本来想用IDM的批量抓取下载奈何今天一下午NASA的网站都很不稳定都是这个状态 502-- 迫于无奈终于摸索出了 ...
利用Python在NASA Earthdata Search 上批量下载MODIS数据
1.下载网址:https://search.earthdata.nasa.gov 2.第一步:注册账号,右上角Earthdata Login,如实注册,身份可以选择教育.用途可以选择科研团队,记得添加 ...
python批量下载modis数据（可筛选日期、范围、数据类型）
找了一圈下modis数据的,有的不能空间筛选有的不能下初级产品(也可能没找到),不甚满意,自己搞了个 23年2月3日更新,原文章里获取所有a标签的地址这一步可以替换为更新章节里直接通过接口获取了. 更 ...

关于批量下载MODIS数据的坑