python实现阿里云OSS文件上传下载

一前言

最近使用到阿里云的产品OSS，用于临时存储线上抽取的数据，然后起本地化的流程去OSS拉回本地，进行自动化数据验证。OSS提供了web方式的管理控制台，命令行管理工具，提供了主流的SDK支持，而且自身保证OSS数据的一致性，上传下载自带数据校验。然而，如果将它纳入到自动化流程中，就需要脚本化支持对它进行操作或管理，本文使用python实现一个简单的OSS上传下载的操作类。

二 OSS简介

阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。

OSS 具有与平台无关的 RESTful API 接口，您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

您可以使用阿里云提供的 API、SDK 接口或者 OSS 迁移工具轻松地将海量数据移入或移出阿里云 OSS。数据存储到阿里云 OSS 以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）和归档存储（Archive）作为不经常访问数据的存储方式。

三 OSS操作的四个基本概念

访问密钥（AccessKey）= AccessKeyId + AccessKeySecret
AccessKey（简称 AK）指的是访问身份验证中用到的 AccessKeyId 和 AccessKeySecret。OSS 通过使用 AccessKeyId 和 AccessKeySecret 对称加密的方法来验证某个请求的发送者身份。AccessKeyId 用于标识用户；AccessKeySecret 是用户用于加密签名字符串和 OSS 用来验证签名字符串的密钥，必须保密。

访问域名（Endpoint）
Endpoint 表示 OSS 对外服务的访问域名。OSS 以 HTTP RESTful API 的形式对外提供服务，当访问不同地域的时候，需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的。

存储空间（Bucket）
存储空间是您用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。

四 python实现的OSS上传下载类

访问一个OSS，需要拿到AccessKeyId ，AccessKeySecret，Endpoint，Bucket，通过这四个信息即可建立OSS的连接，根据访问密钥具备的权限可以对bucket的对象进行操作，如，新建、删除、上传、下载等。

下面是python实现的OSS上传下载类，支持对指定OSS对象的目录层级或文件进行批量下载，或批量上传，仅供参考。

-----------------------------------------------------------------------------------------

代码请参考以下链接:

https://mp.weixin.qq.com/s?__biz=MjM5MTkxMTQ4Nw==&mid=2449052659&idx=1&sn=df81c081fa62bff2cb6e46b7114112ff&chksm=b2a368a385d4e1b59b97ee88e93a63f3b9911a0d2e32a70cbd0e802c411bfff0cfb643a924cc&token=724586817&lang=zh_CN#rd

------------------------------------------------------------------------------------------

一些使用体会

1) OSS是基于key-value的分布式存储模式，不同于层级式的存储，所以，遍历一个存储对象时，形如xxx/xxxx/的对象，也可能是文件类型，而不是目录，取决于你的prefix，可以使用obj.is_prefix()判断，当返回True时，表明是公共前缀（目录）；
2) 上传时，如果oss不存在对应的路径，会自动创建，无需开发者关心，类似于执行了os.makedirs(multi_level_path)创建指定的目录后，再上传文件；
3) 同名文件直接覆盖，不存在时，自动创建，类似于文件操作的w+模式；

看完本文有收获？请转发分享给更多人

关注【小蟒社区】，一起学Python