前言

本文主要介绍利用python从amazon s3 bucket下载数据集

步骤

前提

在下载数据集之前，你得知道该数据的bucket，这个单词的意思是桶，水桶也是这个词，也就是说得知道你要得数据集放在哪个桶里面的：）
另外你还得知道两个key，一个是access key，另一个是secret access key。这两个具体是啥我也不清楚……反正是类似于密码

下面是一个例子

bucket = 'open-neurodata'
access_key = 'AKIA4XXGEV6ZQOTMTHX6'
secret_key = '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'

与bucket建立连接

# pip install boto3
import boto3# connect to client
client = boto3.client('s3', aws_access_key_id=access_key, aws_secret_access_key=secret_key)
print('connect to client successfully!')

查看bucket下某个object（“funke”）的数据（一个bucket下可能会存在多个object）

# list data
print(client.list_objects(Bucket=bucket, Prefix="funke"))

下载该bucket下"funke"对象的目录结构文件

# download directory structure file - this shows exactly how the s3 data is stored
client.download_file(Bucket=bucket,Key="funke/structure.md",Filename="structure.md")

效果：

核心

核心函数，对于该函数可以不用具体研究，只要知道输入就行了。提醒下载的数据会放在运行脚本的当前目录下

# function to download all files nested in a bucket path
def downloadDirectory(bucket_name,path,access_key,secret_key):resource = boto3.resource('s3',aws_access_key_id=access_key,aws_secret_access_key=secret_key)bucket = resource.Bucket(bucket_name)for obj in bucket.objects.filter(Prefix=path):if not os.path.exists(os.path.dirname(obj.key)):os.makedirs(os.path.dirname(obj.key))key = obj.keyprint(f'Downloading {key}')bucket.download_file(key, key)

开始下载

# download
path = 'funke/fib25/testing/ground_truth' # 指定想要下载的文件夹
downloadDirectory(bucket,path,access_key,secret_key)

利用python和boto3包从amazon s3 bucket中下载数据相关推荐

ssis 循环导入数据_使用集成服务（SSIS）包从Amazon S3 SSIS存储桶导入数据
ssis 循环导入数据 This article explores data import in SQL Server from a CSV file stored in the Amazon S3 ...
python绘制简单城市剪影图_利用Python的folium包绘制城市道路图的实现示例
写在前面很长一段时间内,我都在研究在线地图的开发者文档,百度地图和高德地图的开发者中心提供了丰富的在线地图服务,虽然有一定的权限限制,但不得不说,还是给我的科研工作提供了特别方便的工具,在博客前面我 ...
Performing Basic Amazon S3 Bucket Operations
原文链接:https://docs.aws.amazon.com/sdk-for-go/v1/developer-guide/s3-example-basic-bucket-operations.ht ...
利用python整理凯斯西储大学（CWRU）轴承数据，制作数据集
利用python整理凯斯西储大学(CWRU)轴承数据,制作数据集 1 前言 2 制作数据集 2.1 下载数据,初步处理 2.2 上代码 1 前言大多数文献用CWRU数据制作数据集的思路是差不多的,这 ...
关键词数量统计python_利用python统计《十九大报告》中的关键词和词频
利用python统计<十九大报告>中的关键词.报告摘要和词频.引用snowNLP.得到的结果: 1.关键词: 前五个关键词为 ['发展', '人民', '中国', '党', '建设'] 2 ...
Python数据分析小技巧：如何在Pandas中实现数据透视表?
Python数据分析小技巧:如何在Pandas中实现数据透视表? 数据透视表是数据分析中非常有用的工具,可以帮助我们快速了解数据的结构.关联和趋势.在Pandas中,我们可以使用pivot_table ...
《利用Python进行数据分析·第2版》第6章数据加载、存储与文件格式
第1章准备工作第2章 Python语法基础,IPython和Jupyter 第3章 Python的数据结构.函数和文件第4章 NumPy基础:数组和矢量计算第5章 pandas入门第6章数 ...
数据基础---《利用Python进行数据分析·第2版》第8章数据规整：聚合、合并和重塑
之前自己对于numpy和pandas是要用的时候东学一点西一点,直到看到<利用Python进行数据分析·第2版>,觉得只看这一篇就够了.非常感谢原博主的翻译和分享. 在许多应用中,数据可能 ...
利用 Python 爬取了近 3000 条单身女生的数据，究竟她们理想的择偶标准是什么？
灵感来源与学习:利用 Python 爬取了 13966 条运维招聘信息,我得出了哪些结论? 本文原创作者:壹加柒本文来源链接:https://blog.csdn.net/yu1300000363/a ...

利用python和boto3包从amazon s3 bucket中下载数据

前言

步骤

前提

与bucket建立连接

核心

开始下载

利用python和boto3包从amazon s3 bucket中下载数据相关推荐

最新文章

热门文章