python调用IE浏览器进行数据批量下载小技巧
一、为什么要使用浏览器下载?
使用场景:已经有了大量的数据下载链接信息,这些保存在txt文本中,每一行是一个完整的下载链接地址,很多人首先就会想到,直接使用迅雷批量下载就好了,确实如此,这也是最简单的办法。然而问题在于需要下载的这些资源需要代理网络才能下载,迅雷不能直接顺利下载下来。迅雷软件其实也提供了代理设置,如下图:
然而设置代理的时候都不能生效,依旧不能正常下载资源,因此,考虑使用python调用浏览器进行数据下载,前提是所使用的浏览器能够正常使用代理,从而顺利下载资源。
有同学也会说使用python做脚本下载,使用脚本批量下载,当然也是可以的,但是会复杂一些。
二、python调用浏览器打开资源自动下载
使用浏览器是IE浏览器
代码如下:
import os
import time
#from selenium import webdriver #导入selenium包f=open("C:/Users/RS/Desktop/数据下载链接.txt","r") #txt文件中每一行是完整的下载链接地址
line=f.readline()def sleeptime(hour,min,sec):return hour*3600 + min*60 + sec
second=sleeptime(0,15,59) #这是根据文件下载完成的平均之间设置较好
while line:print(line)command1 = '"C:\Program Files\Internet Explorer\iexplore.exe" %s' % line #启动IE浏览器 IE11.0#driver = webdriver.Firefox()#初始化浏览器实例driver,默认浏览器安装位置,若自定义浏览器安装位置,可定制#driver.get(line) #报错Unable to find a matching set of capabilities#driver.quit() #注释部分是调用火狐浏览器,之前试过失败了,有点问题!os.system(command1)time.sleep(second)line=f.readline()
f.close
代码总体比较简单,运行之后会打开浏览器进行下载,记得将浏览器下载地址提前配置好,并且取消弹出选择路径窗口。
需要注意的几个地方:
1.下载间隔时间不能过短,不然一下次多次链接下载资源会被服务器临时拒绝访问。
2.打开浏览器下载后,浏览器下载查看窗口中有一个保存按钮,可以直接点击,也可以后面一次性点击,记得点击保存(实际上数据已经在后台下载缓存下来了,刚弹出来就点击可以看到下载进度)为了实现批量下载,实际上只要过一段时间一次性点击保存一下就行了。
3.IE浏览器不支持断点续传,资源数据比较大的情况容易中断,就会比较麻烦了,火狐浏览器支持断点续传。
python调用IE浏览器进行数据批量下载小技巧相关推荐
- 利用Python调用ECMWF欧洲中心API批量下载数据
前段时间由于需要下载ECMWF(欧洲中期天气预报中心)的再分析数据,学习了如何利用Python调用ECMWF欧洲中心API进行批量下载.这种下载ECMWF数据的方法在官网上有非常详细的介绍.我只是对这 ...
- ECMWF等大气数据批量下载(Python API)详细步骤
ECMWF等大气数据批量下载(Python API) 遥感方向做热红外温度反演,不可避免的要用到大气廓线数据,大气数据具有实时性,比如2018年9月1日的早上8点的影像,为了提高反演精度就需要用到时间 ...
- Sentinel-2 (哨兵2号) 数据批量下载教程 [python]
Sentinel-2 [哨兵2号] 数据批量下载教程 [python] 1. 选择数据 2. 数据下载 2.1 下载链接文件 2.2 安装Python及data_downloader包 2.3 创建. ...
- GPM数据批量下载教程
GPM数据批量下载教程 1. GPM数据产品简介 2 查找数据 3. 下载 3.1. 授权 3.1.1 通过 `.netrc` 文件授权 3.1.2 *通过浏览器授权(通过 `.netrc` 文件授权 ...
- 大数据批量下载文件 代码
大数据批量下载文件 代码 # # 大数据批量下载文件 from multiprocessing import Process import os import pandas as pd import ...
- Harvard Dataverse 数据批量下载
最近看论文,看到了自己需要的数据,就想着下载下来,结果发现这个东西并不好下载,也可能是自己的知识存储不够,捣鼓了一天,终于下载下来了.这里记录一下,方便以后查阅. Harvard Dataverse ...
- 天文数据批量下载笔记
数据批量下载笔记 一.astroquery 很多大型巡天项目都提供了下载数据的API方法,因此利用python脚本批量下载数据成为可能.基于已有的API(或者SQL)方法,astroquery整合了多 ...
- MODIS冰雪数据批量下载
MODIS冰雪数据批量下载之Python Script 相信有很多的朋友在研究极地(南北两极)的冰雪吧,下数据可能对于某些大小同行来说是一个头疼的问题,本文在这里就介绍一种批量爬取数据的方法. 数据下 ...
- 1、EC气象数据批量下载
EC气象数据批量下载 前言 一.前期准备 1. 配置Python环境 2. 安装依赖库: 3. 注册EC账户并获得Key 3.1 注册账户 3.2 获取API信息 4. 选择数据 二.编写脚本开始下载 ...
最新文章
- 使用LINUX SENDMAIL发送邮件
- 【codeforces 242E】XOR on Segment
- BZOJ1453: [WC2005]Dface双面棋盘
- SQL99标准中的查询(MySQL)
- 开源库 | 监控视频中的目标检测与跟踪
- Redis之Ubuntu开机启动
- Day7:html和css
- Spring Boot学习总结(2)——Spring Boot整合Jsp
- java创建一个图形类getv_java建立类和对象分糖果
- Java项目(一):家庭收支记账软件
- linux ubuntu 五笔输入法,ubuntu16.04 安装五笔输入法
- Typora快捷键【官方文档】
- CAD绘制填充并设置填充透明度
- 完全格式化硬盘(删除EFI分区)
- 0x03数据类型和变量
- 【QT Graphics/View】简易图元编辑器
- 移动端GPGPU 架构
- 华为服务器web界面配置文件,如何查看服务器web配置文件
- 【算法入门图论】【模板】拓扑排序|【模板】单源最短路2 |最小生成树
- linux运行.pl 文件,PL 文件扩展名: 它是什么以及如何打开它?