本期我们推出的产品是被客户广泛使用的对象存储产品——OSS。后续会通过4个章节逐步介绍该产品,涵盖产品概念、产品架构、运维工具及运维常见问题等内容。

图1:SRE学堂课程规划

1 OSS是什么

说到OSS产品,大家都要知道OSS是什么?OSS是阿里云对象存储服务(Object Storage Service)的一个简称,它是阿里云提供的海量、安全、低成本、高可靠的云存储服务。

OSS可以被理解成一个即开即用、无限大空间的存储集群。相较传统建服务器存储而言,OSS在可靠性、安全性、成本和数据处理能力方面都有着突出的优势。使用OSS,您可以通过网络随时存储和调用包括文本、图片和视频等在内的各种非结构化数据文件。

OSS将数据文件以对象/文件(Object)的形式上传到存储空间(Bucket)中。OSS提供的是一个Key-Value键值对形式的对象存储服务。用户可以根据Object的名称(Key)唯一地址获取该Object的内容。

您可以进行以下OSS相关的操作:

  • 创建存储空间,并向存储空间中上传文件。
  • 获取已上传文件的地址,进行文件的分享和下载。
  • 修改存储空间或文件的属性或元信息,为其设置相应的权限。
  • 在对象存储OSS控制台进行基础和高级OSS操作。
  • 通过开发者工具包SDK或直接在应用程序中调用RESTful API,进行基础和高级OSS操作。

2 OSS的优势

OSS产品相对于自建存储,有哪些优势呢?从下表中即可看出:

OSS还具备的其他各项优势:

  • 方便、快捷的使用方式
    a提供标准的RESTful API接口(部分接口与Amazon S3 API兼容)、丰富的SDK包、客户端工具、控制台。您可以像使用文件一样方便地

上传、下载、检索、管理用于Web网站或者移动应用的海量数据。
b不限文件数量和大小。您可以根据所需存储量无限扩展存储空间,解决了传统硬件存储扩容问题。
c支持流式写入和读出。特别适合视频等大文件的边写边读业务场景。
d支持数据生命周期管理。您可以自定义将到期数据批量删除。

  • 强大、灵活的安全机制
    灵活的鉴权、授权机制。提供STS和URL鉴权和授权机制,以及白名单、防盗链、主子账号功能。
  • 丰富的图片处理服务
    支持jpg、png、bmp、gif、webp、tiff等多种图片格式的转换,以及缩略图、剪裁、水印、缩放等多种操作。

3 OSS产品架构图

图2:OSS产品架构图

  • WS&PM(协议接入层):负责接收用户使用RESTful协议发来的请求,进行安全认证。如果认证通过,用户的请求将被转发到Key-Value引擎继续处理。如果认证失败,直接返回错误信息给用户。
  • KV集群:负责数据结构化处理,即按照Key(对象名称)来查找或存储数据,并支持大规模并发的请求。当协调服务集群变更导致服务被迫改变运行物理位置时,可以快速协调找到接入点。
  • 存储集群:元数据存储在Master上,Master之间采用分布式消息一致性协议(Paxos)保证元数据的一致性,从而实现高效的文件分布式存储和访问。

4 OSS基本概念

本部分将向您介绍OSS中涉及的几个基本概念,以便于您更好地理解OSS产品。

4.1 对象/文件(Object)

对象是OSS存储数据的基本单元,也被称为OSS的文件。对象由元信息(Object Meta)、用户数据(Data)和文件名(Key)组成。对象由存储空间内部唯一的Key来标识。对象元信息是一个键值对,表示了对象的一些属性,比如最后修改时间、大小等信息,同时用户也可以在元信息中存储一些自定义的信息。

对象的生命周期是从上传成功到被删除为止。在整个生命周期内,对象信息不可变更,重复上传同名的对象会覆盖之前的对象。因此,OSS不支持修改文件的部分内容等操作。

4.2 存储空间(Bucket)

存储空间是您用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间。您可以设置和修改存储空间属性用来控制访问权限、生命周期等,这些属性设置直接作用于该存储空间内所有对象,因此您可以通过灵活创建不同的存储空间来完成不同的管理功能。

  • 同一个存储空间的内部是扁平的,没有文件系统的目录等概念,所有对象都直接隶属于其对应的存储空间。
  • 每个用户可以拥有多个存储空间。
  • 存储空间的名称在OSS范围内必须是全局唯一的,一旦创建之后无法修改名称。
  • 存储空间内部的对象数目没有限制。

4.3 强一致性

Object操作在OSS上具有原子性,操作要么成功要么失败,不会存在有中间状态的Object。

OSS保证用户一旦上传完成之后读到的Object是完整的,OSS不会返回给用户一个部分上传成功的Object。Object操作在OSS上同样具有强一致性,用户一旦收到了一个上传(PUT)成功的响应,该上传的Object就已经立即可读,并且数据的三份副本已经写成功。不存在一种上传的中间状态,即read-after-write却无法读取到数据。对于删除操作也是一样的,用户删除指定的Object成功之后,该Object立即变为不存在。

强一致性方便了用户架构设计,可以使用跟传统存储设备同样的逻辑来使用OSS,修改立即可见,无需考虑最终一致性带来的各种问题。

4.4 OSS与文件系统的对比

OSS是一个分布式的对象存储服务,提供的是一个Key-Value对形式的对象存储服务。用户可以根据Object的名称(Key)唯一地获取该Object的内容。虽然用户可以使用类似test1/test.jpg的名字,但是这并不表示用户的Object是保存在test1目录下面的。对于OSS来说,test1/test.jpg仅仅只是一个字符串,和a.jpg这种并没有本质的区别。因此不同名称的Object之间的访问消耗的资源是类似的。

文件系统是一种典型的树状索引结构,一个名为test1/test.jpg的文件,访问过程需要先访问到test1这个目录,然后再在该目录下查找名为test.jpg的文件。因此文件系统可以很轻易地支持文件夹的操作,比如重命名目录、删除目录、移动目录等,因为这些操作仅仅只是针对目录节点的操作。这种组织结构也决定了文件系统访问越深的目录消耗的资源也越大,操作拥有很多文件的目录也会非常慢。

对于OSS来说,可以通过一些操作来模拟类似的功能,但是代价非常昂贵。比如重命名目录,希望将test1目录重命名成test2,那么OSS的实际操作是将所有以test1/开头的Object都重新复制成以test2/开头的Object,这是一个非常消耗资源的操作。因此在使用OSS的时候要尽量避免类似的操作。

OSS保存的Object不支持修改(追加写Object需要调用特定的接口,生成的Object也和正常上传的Object类型上有差别)。用户哪怕是仅仅需要修改一个字节也需要重新上传整个Object。而文件系统的文件支持修改,比如修改指定偏移位置的内容、截断文件尾部等,这些特点也使得文件系统拥有广泛的适用性。但另外一方面,OSS能支持海量的用户并发访问,而文件系统会受限于单个设备的性能。

因此,将OSS映射为文件系统是非常低效的,也是不建议的做法。如果一定要挂载成文件系统的话,建议尽量只做新建文件、删除文件、读取文件这几种操作。使用OSS应该充分发挥其优点,即海量数据处理能力,优先用来存储海量的非结构化数据,比如图片、视频、文档等。

5 后续介绍

OSS产品的第一章只是向大家介绍了一下产品的一些基本概念,产品的优势以及产品的架构,但我们知道OSS产品的内容远远不止这些,还有OSS的使用方法,例如:如何去创建存储空间,如何实现上传、下载、删除的操作等。如果您对这些内容感兴趣或者想深入了解OSS产品,敬请期待下一期SRE大学堂之OSS从入门到精通第二章节的内容。

阿里云OSS从入门到精通相关推荐

  1. 阿里云 OSS 对象存储 OSS 图片加文字水印

    阿里云 OSS 对象存储 实际开发需先阅读 阿里云 [OSS快速入门文档](https://help.aliyun.com/document_detail/31883.html?spm=5176.20 ...

  2. 在线教育_Day06_项目整合阿里云OSS和Excel导入分类

    一.阿里云OSS概述及开通 1.1 对象存储OSS 为了解决海量数据存储与弹性扩容,项目中我们采用云存储的解决方案- 阿里云OSS. 1.2 开通"对象存储OSS"服务 (1)申请 ...

  3. 亲测简单易懂可用:阿里云OSS入门实战2(集成到SpringBoot项目中存放用户头像)

    亲测简单易懂可用:阿里云OSS入门实战2(集成到SpringBoot项目中存放用户头像) 大噶好,我们继续延续上一章,学习如何使用OSS存放用户头像代码示例; 在application.propert ...

  4. 阿里云OSS | 对象存储服务快速入门 | 参考官方文档实现使用JavaSDK上传文件 | 本地上传与web上传案例

    参考文档 : 点击查看 文章目录 运行环境 一.OSS相关概念 1.1 Storage Class 存储类型 1.2 Bucket 存储空间 1.3 Object 对象 1.4 Region 地域 1 ...

  5. 阿里云OSS怎么从新手怎么到大师

    本期我们推出的产品是被客户广泛使用的对象存储产品--OSS.后续会通过4个章节逐步介绍该产品,涵盖产品概念.产品架构.运维工具及运维常见问题等内容. 图1:SRE学堂课程规划 1 OSS是什么 说到O ...

  6. SpringBoot整合阿里云OSS文件上传、下载、查看、删除

    SpringBoot整合阿里云OSS文件上传.下载.查看.删除 该项目源码地址:https://github.com/ggb2312/springboot-integration-examples ( ...

  7. Golang操作阿里云OSS上传文件

    为什么要使用OSS?应用场景是什么? 最近在开发考试系统,里面需要上传课件,课件包括pdf,map等等各种类型的文件,这些文件不能像图片一样,直接上传到项目目录下面,需要单独存放,阿里云就提供了存储方 ...

  8. 一文读懂什么是阿里云OSS,如何使用Java操作阿里云OSS?

    一.什么是阿里云OSS OSS: Object Storage Service 对象存储服务是一种海量.安全.低成本.高可靠的云存储服务,适合存放任意类型的文件.容量和处理能力弹性扩展,多种存储类型供 ...

  9. 前端(react)上传到阿里云OSS存储 实例

    需求背景 由于现有的后台管理系统,上传的视频越来越大,加上上传视频较慢,后端小哥提出直接从前端上传视频或者其他文件到阿里云OSS存储. 阿里云OSS 阿里云OSS文档介绍,这里不做过多赘述 安装 原本 ...

最新文章

  1. 路由协议重分发之RIP协议和EIGEP协议
  2. java平均差_如何做好描述统计分析
  3. 遇到一个把.o文件strip后出现的奇怪问题
  4. php上传文件插件怎么用,使用jquery-fileupload上传插件
  5. 计算机网络-自顶向下方法(7th) 第四章 Review Questions 英文题目
  6. NHibernate中ISession的Flush
  7. java程序设计练习题_Java程序设计基础练习题
  8. js动态生成表格(添加删除行操作)
  9. 微软软件开发技术二十年回顾
  10. 【机器学习】缺失值处理总结
  11. SNARK性能及安全——Prover篇
  12. android 主流机型排行,安卓手机性能排行:华为Mate40 Pro仅排第四,第一名无可撼动...
  13. HTML入门基础(1)
  14. 开发板ARM+FPGA架构运动控制卡 运动控制器
  15. 一群对J2EE充满激情的兄弟
  16. 2017南京大学计算机考研复试分,南京大学信息管理学院2017年硕士研究生复试结果公示...
  17. 2021日喀则市江孜高考成绩查询,2021西藏重点高中名单及排名
  18. 刀片之家礼品兑换帮助
  19. Base64格式文字解密,加密
  20. MFC CPropertySheet控件

热门文章

  1. oracle数据库sga用途_关于oracle数据库中SGA详解
  2. 2048游戏小程序案例
  3. php怎么输出一个数组aab,php array_search() 函数使用
  4. 数电实验(四)利用集成数值比较器74LS85设计一个4位数值比较器
  5. Doxygen 注释语法和使用
  6. SAP MRP公式与计算
  7. linux内核文档汇集
  8. Mal-PEG12-acid,357277-61-3溶解性:水、DMSO、DCM、DMF
  9. 海投简历无回应?是不是你写简历的方式错了?
  10. 怎么把bmp改成jpg格式呢?值得学习的几种转换方法