【编者Peter Ye按】

十年了,我还是喜欢下面这张图,它表明了存储发展的趋势。

在这漫长的发展中,对象存储将随之茁壮成长。还记得第一次见这张图的时候,是我2008年从EMC刚跳槽到Compellent(2011年被戴尔收购),从雷涛(现任天云大数据CEO)那看到的,彼时很欣喜的发现Compellent的流动数据架构的精髓,Dynamic Block Architecture,已经有了对象存储的影子。

Compellent前端接口采用主流的SAN存储之FC,是非常明智的选择,使其不会成为先烈(EMC Centera不错,但太早诞生,不幸夭折),而成为了先进,它在2003或2004年推出的自动分级存储技术,足足领先EMC整整5~6年!而这只是它Dynamic Block Architecture的体现之一,另外其Data Instant Replay(近CDP效果)是其另外一个体现,基于这个架构还有非常大的潜力。

关于EMC Centera的更多详情可参见:

SDS之Object Storage: 对象存储,老树开新花

综上所述,您可以发现对象存储能够给带来无以伦比的灵活性和功能的丰富性。

随着,云计算、大数据、软件定义存储的普及,是时候了,对象存储恰逢其时。我们了解一下,从备份软件厂商的视角,如何看待对象存储的。

---Begin---

越来越多的人开始承认,他们低估了对象存储。这当然不必过于苛责,毕竟大多数人都不具备从青萍之末,预测到狂风骤雨的能力。

在Gartne发布的“2017年存储技术成熟度曲线”上,作为破坏性创新典型代表的对象存储滑落到了“泡沫化的底谷期”。

—2017年存储技术成熟度曲线—

不过不用担心,这仅仅是从技术层面而言,在业务层面,越发成熟的对象存储在2-5年内将迎来他的发展高峰,不管是开源还是闭源,不管是软件定义还是硬件定义,不管是IT巨头还是创业公司。

不过如果深究爆红的原因,则并不是因为对象存储在一次意外掉下悬崖被一棵大树接住捡回一条小命还顺便捡到一本武功秘籍没怎么苦练就打通了任督二脉而成为绝世高手。而是它赶上了一个好时候。就像郭靖原本只是四川嘉陵江地区一个地方土豪的护卫队首领却在金庸笔下的那个乱世成为了郭大侠。

对象存储这个概念最早可以追溯到20世纪90年代中期,但商业产品却直到2003年的时候才出现。那个时候的纯粹还是主要以追求性能为第一要务。而随着大数据、移动互联网时代的到来,非结构化数据量呈现出爆发的态势,以证券行业为例,随着电子化、无纸化进程的深入,非结构的文件数量呈现出爆发的态势,数据的传输、查询、备份、归档等日常业务开展都面临不同程度的影响。

这个时候对象存储的优势便得以凸显。对象存储是把存储层与应用层进行分离,将数据看作“对象“来处理。具体表现为,首先是它的协议支持,对象存储先是基于HTTP(S)协议,采用基于REST的API调用存储和检索数据,专为使用API 在应用级别(而非用户级别)进行访问而设计。随后增加了NFS和SMB。这就好比孙悟空先是学了七十二变,然后又学了筋斗云。

其次,对象存储具有更高的可扩展性。块和文件存储是将数据放置在目录层次结构中,而对象存储则是将数据存在于平面地址空间内。举个例子,块和文件存储住的是一栋一栋的楼房,而对象存储住的则是一片一片的平房。因此在横向扩展中可以有更好的表现。

如果问一款产品的爆红有什么不二法门的话,那么就是如何更好的满足需求。这种需求在很多时候可以理解为一种具体使用场景。

如果我们对三种类型的存储做简单对比的话,大致可以得出如下这张表格:

块存储

文件存储

对象存储

性能

并发

容量

访问方式

光纤网络

以太网

REST

兼容性

系统举例

交易系统

计费系统

CRM系统/SCM系统/OA系统/邮件系统

网盘/媒体娱乐/医疗PACS

这个表你已经可以忽视它了。因为脱离了场景的对比其实并没有什么意义,这就好比讨论孙悟空和超人谁更厉害一样毫无意义。

相比于传统的块存储、文件存储等,对象存储已经在特定场景中找到了自己的用武之地。此前,Gartner发布了2018对象存储关键能力评估(参考1),其中对几个主要应用场景做了能力对比,本文则主要讨论在这些场景中为什么是对象存储?

1、归档场景

最主要的催生因数当然是另一个重要原因当属GDPR等数据保护法规的不断推出。也就是说数据需要更长的生命周期。

通过与归档软件、分级存储软件结合,将在线系统中的数据无缝归档/分级存储到对象存储,释放在线系统存储资源。越来愈多的厂家对象存储提供几乎可无限扩展的容量,智能管理能力,帮助用户降低海量数据归档的TCO;对象归档采用主动归档模式使得归档数据能够被按需访问,而无需长时间的等待和延迟。

本文我们曾经讨论了对象存储的扁平化的数据结构,这种架构的好处就是允许存储容量从TB级扩展到PB乃至EB级,同时解决了文件系统复杂的索引节点带来的扩展性瓶颈。比如英方的对象存储管理产品i2DTO,就可以应用于Windows和Linux操作系统上,将数据迁移、数据准实时和定时备份到对象存储上,降低了存储成本及维护成本;

2、备份场景

如果说归档的数据是一种“冻”状态的话,那么在备份场景中,数据更多的是作为一种“冷”状态存在,不过随着“等保2.0“的提出,这种“冷”状态将会有所改变。知名市场分析机构MT认为,数据备份和恢复市场快速增长的主要驱动因素除了快速增长的数据量之外,还包括企业对卓越运营和数据质量管理的关注日益提升,此外,云端数据备份解决方案的日益普及也是关键因素。

对象存储可以说是为备份而量身打造的。其安全、经济、可扩展等特点是备份场景中都需要的,比如Amazon的S3(SimpleStorage Service)以及Azure的Blob。Azure表示,2014年它存储的对象就有大约20万亿个。随着相关技术的推进,对象存储也使得云服务商的云备份服务在灾备环节中表现得更为出色。

3、网盘场景

在海量存储资源池基础上,使用图形用户界面(GUI)实现对象存储资源的封装,向用户提供网盘产品成为对象存储重要的应用之一。放眼目前市面上的SaaS类的网盘产品很多都是基于对象存储进行搭建。只需在公有云平台上购买LVS、业务服务器、RDS,辅之以先使用后付费的对象存储,那么一套网盘产品的基础架构即可搭建完成。

当然,在这个红海市场中,差异化将至关重要,以英方的i2Share为例,依靠英方在字节级实时数据复制和真正CDP数据保护技术,i2Share主打备份与分享合二为一的理念,满足企业用户数据保护与办公场景的具体需求。

4、分析场景

大数据分析越来越成为一种必需品在,舆情分析、互联网金融风控、BI报表、3D建模……而要做到数据分析首先要解决数据存储调用的问题。

对象存储对外提供更抽象的对象接口,而不是SCSI或文件接口。与SAN存储以逻辑扇区为单位的较细粒度的固定IO(512B~4KB)不同,对象存储IO粒度更具弹性,可以支持B(字节)级到TB级范围内的任意大小,使得数据可以灵活分割以供不同业务的使用。

未来伴随着产品和市场需求的相互影响,对象存储业务的数据层面与控制平面都还有更为广阔的发展空间,而在产品和需求对应匹配的过程中,对象存储需要更多的前瞻性。最后,祝福每一位从业者,尽快找到你的产品切入点,在起风的时候就做好准备。

参考内容:

CriticalCapabilities for Object Storage:

https://www.gartner.com/doc/reprints?id=1-4PTQGGY&ct=180129&st=sb

---End---

【编者Peter Ye按】

欢迎SDS、区块链方面的投稿。

下面列出微信公众号-乐生活与爱IT 曾经发表过的,和存储研发相关的文章:

SDS之HCI系列:分布式块存储的研发如何设计元数据服务?

谈谈存储系统开发

一个投资顾问兼研发老兵(RAID调度算法博士)的存储手记

【原创】Linda存储手记之二

【原创】Linda存储手记之三

【原创】Linda存储手记之四:剖析存储性能之延迟

【原创】Linda存储手记之五:说说support那些事

中国HCI市场38家列表 & 【原创】Linda存储手记之六

另外我已经建立了存储研发大拿群,人不要求多,但希望讨论能够深入。要求必须在一线存储研发至少5年以上。可以通过我的QQ号 9269216 来加入到这个微信群里,在QQ里加我为好友时,请告知您的中文姓名,目前所在的公司名称,担任的角色,从哪年到哪年的存储研发经验。越详细越好,越有机会被邀请进入,您将有机会和国内外各路存储研发大拿进行讨论。该微信群从第100人开始,除非我主动邀请,否则新加入的成员按照序号,在微信群里发不少于序号两倍的红包。例如第100个人,需要发200元的红包。这个微信群我会亲自管理,所有人员均由我来邀请,如果群内朋友有其他符合要求的需要推荐,请先和他/她沟通清楚,再将其介绍,以及微信名片发给我。

点击左下角“读原文”,可以跳转到一位存储研发老司机分享的文章《SDS之HCI系列:分布式块存储的研发如何设计元数据服务?》

SDS之Object Storage: 对象存储 - 生于时代,长于场景相关推荐

  1. SDS之Object Storage: 对象存储,老树开新花

    本文的副标题是: 对象存储发展史  & "云大无人区"的时代,非结构化数据存储高耸出海面 备注: 1.云大无人区,其实就是云计算.大数据.物联网.人工智能.区块链的谐音记忆 ...

  2. 对象存储产生背景、发展历史、原理架构、优缺点、应用场景及开源项目对比

    1 对象存储的背景 在较长时间中,DAS.SAN.NAS三种存储架构被广泛使用 DAS和SAN是基于物理块的存储方式(块存储),NAS是基于文件的存储方式 随着数据量爆炸增长,非结构化数据的占比显著增 ...

  3. 天翼云对象存储android实现,对象存储基础介绍(华为云、腾讯云、天翼云都提供对象存储服务)...

    什么是对象存储 面向对象存储(Object-Oriented Storage,OOS)是云服务提供商为客户提供的一种海量.弹性.高可用.高性价比的存储服务.您只需花极少的钱就可以获得一个几乎无限的存储 ...

  4. 云存储哪家强:AWS、Azure、 Google、SoftLayer的对象存储和块存储

    近日,RightScale的博客中讨论了目前市面上最主要的公有云服务供应商,包括AWS.Google Cloud Platform.Microsoft Azure,以及IBM SoftLayer,他们 ...

  5. 海量、安全、高可靠的华为云对象存储服务OBS,助力企业数据存储降本提效

    在信息化.数字化时代,企业的数据量日渐增长,对存储的需求也在不断变化,企业自建存储服务器受限于搭建存储服务器时使用的硬件设备,如果存储量不够,需重新购买存储硬盘,进行人工扩容,而且人力物力成本较高,为 ...

  6. 腾讯云对象存储 python_腾讯云对象存储(COS)服务的 API

    注意: 此文档仅适用于 COS XML 版本,版本可登陆后在 COS 控制台首页查看. 此文档不适用于 POST object 的 HTTP 请求. 使用对象存储服务 COS 时,可通过 RESTfu ...

  7. Scality试图将对象存储转移到磁带和云中

    Scality正在开发一款软件定义存储控制器(SDS)以实现对象存储转移到公有云或者使用S3协议的磁带上. 这个想法是要利用策略从本地的Scality RING存储系统中选择那些传送到S3目标的对象. ...

  8. 复杂存储过程学习_对象存储在无人驾驶高精度地图的场景实践

    在自动驾驶领域有这样一个说法:关注自动驾驶的进展,就看高精地图的动态,因为他们才是加速自动驾驶汽车落地的幕后推手.本文介绍了QingStor®️对象存储的种种优势以及许多针对该场景的特性,分享了对象存 ...

  9. 阿里云对象存储OSS(Object Storage Service)

    文章目录 简介 endpoint:阿里云服务部署的地区位置 见解 开发步骤 配置文件 utils层(读取全局配置文件并赋值给类变量) service层 impl(基于oss驱动sdk实现类) cont ...

最新文章

  1. vue-cli启动项目运行_SpringBoot2.0 基础案例(17):自定义启动页,项目打包和指定运行环境...
  2. QGLViewer编译过程
  3. 【机器学习入门】深入浅出聚类算法!如何对王者英雄聚类分析,探索英雄之间的秘密...
  4. 用饮水机教你什么是RAID [转]
  5. 微服务深入浅出(7)-- 网关路由Zuul
  6. Linux SO_KEEPALIVE属性,心跳
  7. SocketFactory、DefaultSocketFactory、ServerSocketFactory、DefaultServerSocketFactory
  8. 应急响应.windows
  9. 怎么做一个专业的软件安装包?
  10. 怎样黑网吧的万象系统_5636小编教你如何进入万象网管系统
  11. 在spss中实现变量标准化Z值
  12. 光纤跳线接口_如何为10G SFP+光模块搭配对应的光纤跳线类型?
  13. Flutter 环境配置
  14. 【汇正财经】股票上市交易的费用都有哪些?
  15. 用Markdown优雅地一键排版公众号 解决公众号排版代码块换行错误的问题
  16. android 蓝牙sco开发
  17. 厦门大学计算机网络实验四
  18. 用户显示图片的服务器是什么,显示服务器上的图片怎么写
  19. 业务逻辑漏洞挖掘-某网站绕过下载付费机制进行下载文件
  20. linux安卓开发培训,Android培训内部资料PPT下载

热门文章

  1. 计算机基础容量单位,计算机容量的基本单位是什么
  2. 孩子学python教程_教孩子学编程 PYTHON语言版 PDF_IT教程网
  3. 骨科医疗器械行业产业链及技术水平趋势、竞争格局、主要壁垒构成
  4. 计算机高级工考试题库2018,080720 自考软件工程:07163高级数据库技术历年真题及答案 2018年 2017年 2019年真题和答案...
  5. ooVoo-Windows上的多人视频聊天
  6. 快速生成APP的平台
  7. 注册免费企业邮箱的方法
  8. codeblocks shotcut
  9. 爱立信携手微软加速物联网全球部署
  10. 2023前端面试总结含参考答案