linux 上批量下载amazon s3数据

最近导师喊我下载amazon s3上的数据传到服务器上，没用过这玩意，网上那些批量下载的方法又看不懂,就自己用python和shell写了个小的批量下载的脚本
在运行之前要确认环境中有python3，然后在运行路劲底下放个conf.txt配置文件已经用pip install awscli下载所需要的awscli包，

conf.txt内容如下 在什么路劲下运行conf.txt就放到那个路劲底下
第一行为协议，第二行为Access Key，第三行为Secret，第四行为远程路径

s3.cn-northwest-1.amazonaws.com.cn
AKIA6VFASDFGREWEGSZAB25X
AL1pZubEyiQW123FDQ9rHQWEqGLvFMOUFSDFE2
partrsonbaio-release/P132531231/

python脚本aws_download内容如下

#!/home/anaconda3/bin/python    ###你自己的python解释器路劲
import os
import subprocessconfigfname = os.getcwd() + '/' + "conf.txt"
conf = open(configfname)
content = conf.readlines()
region = content[0].split('.')[1]
key = content[1].strip()
secret = content[2].strip()
remote_path = content[3].strip()
remote_path = 's3://' + remote_path
aws_path = "aws"def for_conf():script_path = "/".join(__file__.split('/')[:-1])os.system(f'sh {script_path}/aws_configure.sh {key} {secret} {region}')def download(path):p = subprocess.Popen(f'{aws_path} s3 ls {path}', shell=True, stdout=subprocess.PIPE)out,err = p.communicate()for line in out.splitlines():line = line.decode()parts = line.strip().split()if parts[-2].isdecimal():remote_f = path + parts[-1]local_path = os.getcwd() + '/' + path.split(remote_path)[1]os.system(f"{aws_path} s3 cp {remote_f} {local_path}")else:temp_path = path + parts[-1]local_path = temp_path.split(remote_path)[1]os.system(f'mkdir -p {local_path}')download(temp_path)def main():download(remote_path)if __name__ == '__main__':for_conf()main()

shell脚本aws_configure.sh内容如下

key=$1
secret=$2
region=$3/usr/bin/expect <<-EOF
spawn aws configureexpect "AWS Access Key ID *"
send "$key\r"
expect "AWS Secret Access Key*"
send "$secret\r"
expect "Default region name*"
send "$region\r"
expect "Default output forma*:"
send "\r"
expect eof
EOF

将python脚本aws_download以及shell脚本aws_configure.sh放在同一路劲下（例如我放在了/home/users/a/software/aws_download这个路劲下）然后将用chmod +x aws_download给python脚本执行权限，再在~/.bashrc中添加一句export PATH="/home/users/a/software/aws_download:$PATH"将写好的脚本放在环境变量中

运行效果如下
![在这里插入图片描述](https://img-blog.csdnimg.cn/f8e90342eebe4f0bb45343f10861515b.png

脚本还会自动在本地创建跟远程一样的路劲进行下载

【linux 上批量下载amazon s3数据】相关推荐

aws cli 上传文件到s3命令_使用 AWS CLI 分段上传到 Amazon S3
如何使用 AWS CLI 将文件分段上传到 Amazon S3? 上次更新时间:2020 年 11 月 10 日我想将一个大文件作为多个部分或使用分段上传复制到 Amazon Simple Stor ...
ncbi-genome-download在NCBI上批量下载基因组
ncbi-genome-download在NCBI上批量下载基因组 1.简介 2. 安装 3. 使用 1.简介 ncbi-genome-download是一个可以直接从NCBI上批量下载序列的软件,数 ...
python读取哨兵卫星数据_科学网—【Python】批量下载Sentinel-2卫星数据 - 江佳乐的博文...
简介:本文介绍了一种基于Python批量下载Sentinel-2卫星数据的方法.通过该方法,用户可自定义感兴趣研究区(ROI).限定时间范围.选择产品类别.进行云量筛选,实现自动化批量下载Sentin ...
Python批量下载CHIRPS气象数据并完成解压裁剪等
文章目录前言一.CHIRPS是什么? 二.实现步骤 1.下载数据 2.解压缩 3.批量裁剪三.完整代码如下四.代码结果前言最近需要下载气象数据--CHIRPS,借助之前学的批量下载哨兵 ...
通过js批量下载地图TopoJson数据
导言 TopoJson 是 GeoJson 按拓扑学编码后的扩展形式.使用点.弧(有向线)来表示图形. TopoJson结构如下下面通过js脚本来批量下载地图TopoJson数据文件 1.获取地图t ...
SecureCRT、Xmanager对Linux上传下载文件或文件夹
(1).SecureCRT SecureCRT对Linux上传下载文件或文件夹拥有一个专门的软件SecureFXPortable.对于它来说只有两个的难题,一个是版本问题,尽量去官网下载最近版本:另一 ...
使用MATLAB中Mget函数批量下载FTP网站数据
使用MATLAB中Mget函数批量下载FTP网站数据例如下载igs的GNSS数据一.使用excel批量编写代码内容二.粘贴至MATLAB脚本中并运行例如下载igs的GNSS数据一.使用exc ...
linux上传下载工具lrzsz
linux上传下载工具lrzsz ubuntu安装 sudo apt-get install lrzsz centos安装 yum -y install lrzsz 下载操作命令下载文件 sz ...
利用Python在NASA Earthdata Search 上批量下载MODIS数据
1.下载网址:https://search.earthdata.nasa.gov 2.第一步:注册账号,右上角Earthdata Login,如实注册,身份可以选择教育.用途可以选择科研团队,记得添加 ...

【linux 上批量下载amazon s3数据】

linux 上批量下载amazon s3数据

linux 上批量下载amazon s3数据

【linux 上批量下载amazon s3数据】相关推荐

最新文章

热门文章