python 批量下载地理空间数据云
在博文28-地理空间数据云下载的基础上,解决了其翻页后下载报错的问题,成功下载了2万多条MODIS中国合成产品–MODLT1D 中国 1KM 地表温度每天产品数据
完整程序如下:
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import Bydriver = webdriver.Chrome(executable_path = r'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')driver.get('https://www.gscloud.cn/accounts/login')email = driver.find_element_by_xpath('//*[@id="userid"]')
email.send_keys('xxxxxx') #账号
password = driver.find_element_by_xpath('//*[@id="password"]')
password.send_keys('xxxxxx') #密码
captcha = driver.find_element_by_xpath('//*[@id="id_captcha_1"]')
captcha_sj = input('请输入验证码:').strip()
captcha.send_keys(captcha_sj)dr_buttoon = driver.find_element_by_xpath('//*[@id="login-form"]/input[3]').click() #输入验证码后点击登入按钮
time.sleep(3)
sjzy = driver.find_element_by_xpath('/html/body/div[3]/div[3]/div[4]/a/h4').click() #点击中国合成产品
time.sleep(3)
GDEMV30 = driver.find_element_by_xpath('//*[@id="dataset-listview"]/div/div/ul/li[3]/div/a[3]').click() #点击MODLT1D地表温度每天产品
time.sleep(3)# #一共是2315页
page_num = 2315
page = 1while page <= page_num: page_sr = driver.find_element_by_xpath('//*[@id="pager1"]/div[2]/table/tbody/tr/td[7]/input')page_sr.clear() #清除里面数字time.sleep(0.5)page_sr.send_keys(page) #传递页码time.sleep(0.5)page_sr.send_keys(Keys.ENTER) #回车time.sleep(0.5)# windows = driver.window_handles# driver.switch_to.window(windows[-1]) time.sleep(5)print('当前下载第{}页'.format(page))for tr_num in range(3,13): #只能取到3-12d_everypage = '//*[@id="all_datasets_listview"]/div/table/tbody/tr['+str(tr_num)+']/td[8]/div/div/a[2]/span'WebDriverWait(driver, 20).until(expected_conditions.visibility_of_element_located((By.XPATH, d_everypage))) #翻页后重新定位,否则报错ElementClickInterceptedException:element = driver.find_element_by_xpath(d_everypage)webdriver.ActionChains(driver).move_to_element(element).click(element).perform()# download = driver.find_element_by_xpath(d_everypage).click()time.sleep(1) #每个下载间隔1spage += 1
尝试了近一周,成功后的喜悦~~~~
存在的问题:
- 遇到点击一次不下载的情况有待解决;
- 验证码需要手动输入,不过只需要输入一次即可。
提示:
- 浏览器启动后,尽量不要放大或缩小窗口,否则会导致定位失败;
- 百度不行去Bing,Bing不行找Google;
python 批量下载地理空间数据云相关推荐
- 如何用python批量下载数据_Python批量下载地理空间数据云数据!Python无所不能!...
模拟登录 这里要用到两个包:requests和json.requests使用前得先安装:pip install requests. In [3]: 进群:548377875 即可获取数十套PDF哦! ...
- DEM数据下载——以地理空间数据云为例
数字高程模型(Digital Elevation Model)是进行地形分析的重要基础,诸如坡度.坡向及水文分析等都在此基础上进行.今天,我们一起来聊一聊一种DEM数据常见下载方式. 按照惯例,先将网 ...
- 从地理空间数据云下载数据后该如何操作
首先,当然是要解压数据.以前上课的时候都是直接利用老师给我们发的实验数据,这次是期末论文考核,需要自己找数据,自己进行操作,浅浅记录以下我的学习过程吧. 当从地理空间数据云检索并下载完成数据后,我发现 ...
- element 怎么把数据写到日历表上_数据集 | 地理空间数据云30m的DEM爬取
DEM数据是我们经常用到的一种数据,小编今天就带大家一块看一下怎么用python来爬取地理空间数据云的30m的DEM数据. 我们要爬取DEM数据首先还是要有一个地理空间数据云的账号.小伙伴们如果没有的 ...
- 【ArcGIS遇上Python】三种利用Python批量处理地理数据的方法——以栅格数据投影转换为例
时至今日,笔者已经总结了三种用Python语言结合ArcGIS10.x提供的接口去批量处理地理空间数据的方法.即: 1. 用IDLE.Python Tools for Visual Studio等去编 ...
- python批量下载抖音无水印视频,附软件
网上很多那种抖音视频解析,去水印下载的网站,不过都只可以下单个,下下来大多数标题还是乱码.一点都不geek. 咱们懒人找资源的粉丝最大的优点就是懒,这种重复性的活python帮咱们搞定. 批量下载抖音 ...
- 学习笔记——GEE\USGS\地理空间数据云\ENVI反复横跳的心酸过程
整个问题实际上是在用GEE做无监督分类时,发现影像拼接色彩差距较大.出现明显拼接缝的问题,在尝试了网上已有的直方图匹配算法之后效果不佳且经常溢出,所以回归本心用ENVI去校正,试图获得色彩统一的整个影 ...
- 批量下载刘良云全球30米地表覆盖精细分类产品
网址:https://data.casearth.cn/sdo/detail/6123651428a58f70c2a51e49 一.需要准备的事项 1.网站需要注册并且登陆. 2.下载 downthe ...
- python下载网页里面所有的图片-Python批量下载网页图片详细教程
很多朋友在网上查找批量下载图片的方法~发觉挺凌乱的,无从下手.这里绿茶小编就来跟大家分享下使用Python批量下载图片方法. 目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件 ...
- 群里又会python的吗_自从会了Python在群里斗图就没输过,Python批量下载表情包!...
原标题:自从会了Python在群里斗图就没输过,Python批量下载表情包! 导语 最近图慌,于是随便写了个表情包批量下载的脚本,没什么技术含量,纯娱乐性质. 让我们愉快地开始吧~ 开发工具 Pyth ...
最新文章
- 正则 不区分大小写_为什么要学正则表达式 7
- prometheus变量_Prometheus 数据可视化
- 简单的mysql热备
- 在MFC的picture控件中如何显示Mat图
- Java对象到对象映射器
- 记一次webpack4+react+antd项目优化打包文件体积的过程
- [UE4]虚幻引擎UE4如何制作可拖动(Drag and Drop)的背包(Scrollbox)(转载)
- Windows2000、XP、2003系统万能Ghost全攻略
- com.github.pagehelper.PageHelper cannot be cast to org.apache.ibatis.plugin.Interceptor和oracle不识别
- java 线程池的原理与实现_Java线程池原理及实现
- Oracle 密码过期
- 【python】文件的save和load:npy,npz,txt,csv,pkl,(持更)
- Android项目:基于安卓Android平台手机商城系统app(计算机毕业设计)
- 如何系统学习知识图谱-胖子哥的实践经验分享
- linux mint借用deepin-wine安装QQ/微信
- 完全指南:在 Linux 中如何打印和管理打印机
- Go语言核心之美 3.3-Map
- 微信小程序 模仿华为音乐 列表界面
- 固定资产拆分比例怎么计算_资产拆分
- 今日头条-新年集卡分2亿,每晚8:45红包雨