Amazon S3下载图片

Amazon S3

Amazon S3，全名为亚马逊简易存储服务。类似于阿里云的oss，或百度云等网盘服务。即将文件存储在云端服务器中，文件会有对应的url。一般用于大型公司或者跨国业务。

官网（https://aws.amazon.com/cn/s3/）介绍如下：

Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务，提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用 S3 来存储并保护各种用例（如数据湖、网站、移动应用程序、备份和还原、存档、企业应用程序、IoT 设备和大数据分析）的数据，容量不限。Amazon S3 提供了易于使用的管理功能，因此您可以组织数据并配置精细调整过的使用权限控制，从而满足特定的业务、组织和合规性要求。Amazon S3 可达到 99.999999999%（11 个 9）的持久性，并为全球各地的公司存储数百万个应用程序的数据。

支持的功能介绍

存储管理和监控
- 存储管理：借助 S3 存储桶名称、前缀、对象标签和 S3 清单，可以通过广泛的方式来分类和报告您的数据，然后配置其他 S3 功能以采取操作；
- 存储监控：可以使用 S3 功能和其他 AWS 服务来监视和控制 S3 资源的使用方式；
存储类：以在多种不同的 S3 存储类中存储数据：S3 标准、S3 智能分层、Amazon S3 标准 - 不经常访问 (S3 标准 - IA)、S3 单区 - 不经常访问 (S3 单区 - IA)、Amazon S3 Glacier (S3 Glacier)、Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) 和 S3 Outposts
访问管理与安全性
- 访问管理：为了保护在 Amazon S3 中的数据，默认情况下用户只有自己所创建 S3 资源的访问权限，也可以通过配置向其他用户授予访问权限；
- 安全性：Amazon S3 提供了灵活的安全功能，用于阻止未经授权的用户访问数据；
随时查询：Amazon S3 具有内置的功能和免费服务，可以查询数据，无需复制并将数据加载到单独的分析平台或数据仓库；
数据传输：AWS 提供数据传输服务组合，从而为任何数据迁移项目提供适当解决方案；

使用

使用起来基本上就是通过程序去操作文件，下载、上传等。这里以下载图片为例。

#!/usr/bin/env python
# fileUsing: download img from s3, and return img matimport os
os.environ['http_proxy'] = ""
os.environ['https_proxy'] = ""
import cv2
from boto3.session import Sessionclass Config(object):def __init__(self):self.aws_access_key_id = 'xxx'   # set configself.aws_secret_access_key = 'xxx'self.endpoint_url = 'http://xxxx'self.bucket = 'xxxxx'  # the place where save filesclass Url2Image(object):def __init__(self):self.config = Config()self.session = Session(aws_access_key_id=self.config.aws_access_key_id,aws_secret_access_key=self.config.aws_secret_access_key)self.s3_client = self.session.client("s3", endpoint_url=self.config.endpoint_url)def url_to_image(self, key):try:self.s3_client.download_file(Filename=key, Key=key, Bucket=self.config.bucket)   # key 类似于存放到bucket中的文件名except Exception as e:print(e)img = cv2.imread(key)# os.remove(key)return imgif __name__ == '__main__':u2i = Url2Image()key = 'xxxx'image = u2i.url_to_image(key)cv2.imshow("Image", image)cv2.waitKey(0)

使用心得

操作比较方便，但相较于国内阿里云oss来说，就存储功能来说，个人感觉还是oss更好用一些；

资源

https://aws.amazon.com/cn/s3/features/?nc=sn&loc=2
https://ecloud.10086.cn/op-help-center/develop/202007021593678008488089060.pdf

Amazon S3下载图片相关推荐

使用Amazon S3下载HCP数据
使用Amazon S3下载HCP数据的目的: 使用Amazon S3下载HCP数据的好处在于可以选择数据包中的某些文件进行下载,比如需要下载头动文件或者CSF文件,就可以使用Amazon S3下载,而 ...
java aws s3 下载文件_使用send_file从Amazon S3下载文件？
为用户保持简单我认为处理此问题的最佳方法是使用过期的S3网址 . 其他方法有以下问题: 文件首先下载到服务器,然后下载到用户 . 使用 send_data 不会产生预期的"browser ...
【linux 上批量下载amazon s3数据】
linux 上批量下载amazon s3数据 linux 上批量下载amazon s3数据 linux 上批量下载amazon s3数据最近导师喊我下载amazon s3上的数据传到服务器上,没用过 ...
Amazon S3文件存储的上传下载如何测试
相信肯定有不少小伙伴的公司用到了S3,而且在测试的过程中如何去进行测试的呢,下面通过一篇文章带你入门S3的测试. S3是什么? Amazon Simple Storage Service (Amazo ...
利用python和boto3包从amazon s3 bucket中下载数据
前言本文主要介绍利用python从amazon s3 bucket下载数据集步骤前提在下载数据集之前,你得知道该数据的bucket,这个单词的意思是桶,水桶也是这个词,也就是说得知道你要得数据 ...
aws s3 php,在Amazon S3上使用php进行强制下载
目前已经提到的php脚本可以正常工作,但主要的缺点是,每当您的站点上的访问者请求一个文件时,您自己的服务器将从S3加载它,然后将该数据中继到浏览器.对于低流量网站,这可能不是什么大问题,但对于高流量网 ...
使用php和Amazon S3 sdk上传及下载文件
使用php和Amazon S3 sdk上传及下载文件,下载Excel文件时总是报文件损坏的错误,解决方案如下上传 require 'vendor/autoload.php';use Aws\S3\S ...
php 下载s3文件系统,如何使用php和Amazon S3 sdk下载文件？
我正在努力使我的脚本通过php在Amazon S3存储桶中显示test.jpg. 这是我到目前为止所拥有的: require_once('library/AWS/sdk.class.php'); $s ...
马逊s3云存储接口_使用 Amazon S3 云服务轻松实现存储
Amazon Simple Storage Service (S3) 是一个公开的服务,Web 应用程序开发人员可以使用它存储数字资产,包括图片.视频.音乐和文档. S3 提供一个 RESTful A ...

Amazon S3下载图片

Amazon S3

使用

使用心得

资源

Amazon S3下载图片相关推荐

最新文章

热门文章