阿里巴巴 OSS与AWS(亚马逊) S3 和腾讯云cos 存储服务 介绍篇
前言
对象存储服务,简单来说,可以把它当成一个“网盘”,可以上传下载数据,也可以直接在这个“网盘”中对文件进行某些操作。
1.定时或者基于某种条件自动地,每天从数据库中导出指定格式的数据,生成文件,保存到服务器本地指定目录内
2.使用对应的命令行工具,对服务器本地指定目录和对象存储服务中的指定目录,以完全同步的方式进行上传
对于第1步,我用bat或shell写了个通用的数据导出就解决了(【BAT】在windows环境下使用cmd批处理实现多数据来源的多份数据导出及管理 - DarkAthena's World-ORACLE,RETAIL and IT)。对于第2步,由于之前完全没接触过,就只能翻官方文档看了
亚马逊云 S3 - https://aws.amazon.com/cn/cli/
腾讯云 COS - https://cloud.tencent.com/document/product/436/10976
阿里云 OSS - https://help.aliyun.com/document_detail/50452.html
京东云 oss 使用S3cmd管理OSS-对象存储-产品文档-帮助文档-京东云
七牛云 Kodo 命令行工具(qshell)_实用工具_对象存储 - 七牛开发者中心
华为云 OBS obsutil简介_对象存储服务 OBS_工具指南_obsutil_华为云
1. AWS S3对象存储
Amazon Simple Storage Service (Amazon S3) 是一种面向 Internet 的存储服务。您可以通过 Amazon S3 随时在 Web 上的任何位置存储和检索的任意大小的数据。
Amazon S3将数据作为对象存储在存储区中。一个对象由一个文件和可选的描述该文件的任何元数据组成。在S3里面实质上是没有目录和文件夹的概念,即目录概念实质只是对象的前缀,并不存在实体。
1.1 存储桶(bucket)
我们的数据都是存储在AWS 的存储桶中,我们可以把桶理解为磁盘分区,不过它是由一个桶名(字符串)唯一标识,即你不能创建别人已经创建过的桶。
1.2 对象
(1)对象键 (或键名称) 在存储桶中唯一地标识对象。(Key)
(2)对象元数据是一组名称值对。您可以在上传对象元数据时对其进行设置。上传对象后,您将无法修改对象元数据。修改对象元数据的唯一方式是创建对象的副本并设置元数据。对象元数据又分为系统元数据和用户自定义元数据。
(3) 数据
1.3 S3存储类型
类型 | 可用性 | 其他 |
---|---|---|
STANDRARD: | 99.99% | 最常用的数据类型 |
STANDRARD_IA | 99.9% | 检索收费,不适用于经常访问的数据 |
ONEZONE_IA | 99.5% | 无法灵活的应对可用去丢失的情况 |
GLACIER | 99.99% | 不用于实时访问,必须先还原对象,然后再访问 |
RRS | 99.99% | 无 |
1.4 S3的使用
使用SDK的访问服务
1.5 桶的操作
- 创建桶(每个用户最多可以创建100个)
- 生命周期的管理
1.6 对象的管理
2 阿里云对象存储服务(Object Storage Service,简称 OSS)
是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%(12 个 9),服务设计可用性(或业务连续性)不低于 99.995%。
OSS 具有与平台无关的 RESTful API 接口,您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。
2.4 地域(Region)
地域表示 OSS 的数据中心所在物理位置。您可以根据费用、请求来源等选择合适的地域创建 Bucket。
阿里巴巴 OSS与AWS(亚马逊) S3 和腾讯云cos 存储服务 介绍篇相关推荐
- 借助亚马逊S3和RapidMiner将机器学习应用到文本挖掘
本挖掘典型地运用了机器学习技术,例如聚类,分类,关联规则,和预测建模.这些技术揭示潜在内容中的意义和关系.文本发掘应用于诸如竞争情报,生命科学,客户呼声,媒体和出版,法律和税收,法律实施,情感分析和趋 ...
- 用多备份将网站数据备份到百度云,七牛云存储,阿里云OSS,亚马逊S3,金山云等云存储服务上
真正运营过网站的人都知道,数据对一个网站来说至关重要,因此,网站数据备份也是日常必做工作.因为误操作,网站被攻击等种种原因都会导致数据丢失,这时,你才会明白"有备无患"的道理.备份 ...
- 【从AWS亚马逊平台上的s3存储桶上下载文件到win10电脑上】
从AWS亚马逊平台上的s3存储桶上下载文件到win10电脑上 1.在win10电脑上下载AWS CLI. 2.在cmd命令行输入 aws configure 出现四个要填写的信息. 3.配置好本机和a ...
- AWS 亚马逊和Aliyun阿里云的区别比较和深度分析
做这行久了,经常会被人问到:AWS亚马逊和阿里云哪个好?两者有什么区别?优缺点是什么? 在国外,AWS亚马逊是云服务器的行业标杆似的存在,没有人会质疑我为什么要选择AWS亚马逊, 当AWS亚马逊进入中 ...
- 为你的亚马逊S3 bucket加个安全盖
我们的企业在亚马逊S3上存储了不同类型的数据,包括视频和图表.有哪些选择可以确保亚马逊S3 bucket的安全,并且加密我们的数据? 亚马逊S3 bucket和对象可以通过互联网访问.AWS安全控制用 ...
- 亚马逊s3的使用方法_使用jclouds库在Amazon S3上上传
亚马逊s3的使用方法 在Java世界中,有几种很好的方法可以将内容上传到S3存储桶-在本文中,我们将研究jclouds库为此提供的功能. 要使用jclouds –特别是本文中讨论的API,应将此简单的 ...
- ESP32 AT指令连接AWS亚马逊云
ESP32 AT指令连接AWS亚马逊云 文章目录 ESP32 AT指令连接AWS亚马逊云 1. 概述 2. 相关资料及设备说明 3. AWS云平台接入 3.1 AWS云平台接入概述 3.2 接入AWS ...
- AWS亚马逊云账号注册、免费申请1年云服务器以及Amazon EC2服务与Amazon Lightsail服务的配置与使用
AWS亚马逊云账号注册.免费申请1年云服务器以及Amazon EC2服务与Amazon Lightsail服务的配置与使用 准备 EASYPAY易贝卡申请 全球付申请 亚马逊云 申请产品介绍 注册账号 ...
- AWS亚马逊云全球账号最新注册技巧(防风控)
学习目标: 提示:AWS亚马逊云全球账号最新注册技巧 学习内容: 一.介绍. AWS(亚马逊云)一般是出海项目首选云,全球云服务的大哥大,特别是拿热销的云服务器EC2来说,实例类型就分为了通用.计算优 ...
最新文章
- winform - FixedDialog
- mysql基本操作(重点)
- 用命令行CMD .bat 相关操作 如: 创建快捷方式 复制文件等
- 基于Solr的HBase多条件查询测试
- linux task进程跟踪,如何对Hadoop作业的某个task进行debug单步跟踪
- 图片添加对话气泡app_刘雨昕、谢可寅、虞书欣代言农夫山泉TOT气泡饮
- python 之 __new__ 方法理解
- patator mysql 字典_利用patator进行子域名爆破
- 移动边缘计算与计算卸载概述
- java动态数组输入_java中如何使用动态数组?代码示例
- android答辩问题,安卓毕业设计答辩(流程、准备、模板及注意事项)
- office excel 打开csv文件乱码问题解决
- BZOJ 2429: [HAOI2006]聪明的猴子
- 融合通讯四大关键词和三个应用场景
- 【图像加密】DNA混沌系统图像加密【含Matlab源码 1190期】
- TemplatesImpl在Shiro中的利用
- C++ map和unordered_map详解
- RecycviewView加载更多和预加载
- Android组件之Service 与常用系统服务用法详解
- OpenGL超级宝典visual studio 2013开发环境配置,GLTools
热门文章
- 2019 码云 最流行的开源项目 TOP 50
- 2020年第六届美亚杯个人资格赛题目复现
- 快排优化Python表示
- eclipse 解决 java.lang.NoClassDefFoundError: ilog/concert/IloException
- Facebook将对视频进行人物识别及身份标注
- 我觉得是全网最全最好最有用的sed命令详解+示例
- TIA博途中通过关键字AT实现变量覆盖的具体方法及示例程序
- 搜索引擎介绍系列——数据采集
- 一键还原涂鸦图片_如何用Photoshop清除照片上的涂鸦,恢复原始图像?
- 5寸android智能手机,5寸刚入门 六款巨屏安卓智能手机盘点