存储领域的极简架构指的是一个存储平台,一个数据中心。它的含义很丰富,如:一套软件栈支持多种介质,或者一套软件栈支持多种存储服务接口,例如文件、块、对象。

为什么出现越来越多的三合一、多合一?

我想,是因为速度、便利、成本等原因。其中的关键是,大多数人需要的是一个方便易用、成本节省的通用平台。这篇文章是近日看到北京青年报报道电影《金刚川》启发的。

一、电影

《金刚川》剧组只有3个月制作周期,三位导演、三个团队,他们是如何带领全剧组5000人完成了这份“三合一”的工作呢?

新华网2020-10-24有篇文章《金刚川“三合一”导演团队如何分工》有详尽的介绍。

看得出来,这个任务极其艰巨,每个导演的价值观、叙事方式、拍摄风格、偏好等都不一样,如何让电影呈现为一个整体,并且尽可能顺畅、不重复、无违和感,其中大量的沟通工作,妥协、权衡,相互补充和成就,也是必不可少的。当然,这种赶工之作,会给影片带来一些瑕疵。

不过,类似这种,为了快速上线,或者宏大叙事下单个导演或单个剧组力有不逮的情况下,将来可能会有越来越多的电影、电视的创作采用这种方式,甚至形成工业流水线的模式。

二、手机

如下图所示,分别是便携式播放器、专业相机或摄像机,以及手提电话。以往我们外出,如果我们有这三种需求,恐怕需要背包来专门伺候它们。因为便利,它们合成了手机,而且手机还有很多的其他功能合成进来,计算器、闹钟、时钟、阅读、娱乐、交友等。

除非专业人员,或者对音质、影像、通讯等有着严苛的要求,

当这种多合一同时兼具便携、成本方面的巨大优势,而且性能还不错时,对于以往的产品的打击是降维攻击。

三、企业级存储

1、集中式存储 SAN和NAS的统一

我们先来看集中式存储,2007年,EMC为了阻击NetApp的增长,在市场策略、组织架构都做了调整,基于中端存储CLARiiON系列的基础上,推出了统一存储Celerra NS 产品线,集成了NAS(网络附加存储)、iSCSI和光纤通道连接的存储服务。其实就是CLARiiON存储+ Data Mover(NAS网关) + Control Station(控制终端)的松耦合架构,和旧的Celerra没有太多的不同。不过,大约在2009年后,EMC推出了Virtual Data Mover(简称VDM),虚拟机版本的NAS网关,之后又有了容器版本的VDM。

印象特别深刻的是,那时候EMC中国为了抢占NAS市场,甚至出现过用户买NS产品(也即CLARiiON SAN存储+NAS网关的组合),甚至比单买里面的CLARiiON SAN存储,价格还便宜的情况。

之后,SAN+NAS这种统一存储的方式,成了集中式存储的标配。例如曾经的DELL Compellent + FS8600,IBM V7000 Unified,HDS HUS等。

支持统一存储SAN+NAS方式的,还有浪潮存储的全闪HF系列,AS系列,如HF5000G5,HF6000G5,AS5600等。

2、集中式存储 混闪和全闪的统一

2010年~2013年,是闪存阵列初创厂商大放异彩的时候,例如Violin Memory、Pure Storage、Nimble Storage、SolidFire、Texas Memory Systems(简称TMS)、XtremIO。

回顾这些闪存公司,或许对我们有所启发:

2012年5月,EMC收购XtremIO(成立于2009年) 。EMC公司总裁ChadSakac声称,XtremIO将成为EMC发展历史上最快突破年销售额10亿美元大关的产品。

2012年8月,IBM收购TMS,产品系列改名为FlashSystem。

Violin Memory成立于2005年,2013年上市,2016年宣布破产,技术上可能缘于它的性能很好,但传统阵列的基础功能和高级功能,它实现得较为缓慢。

而成立于2009年Pure Storage在功能完善上迭代较快,后来居上,2015年上市,至今市场表现仍不错。

SolidFire成立于2010年,2017年8月被NetApp收购。

然而,耐人寻味的是,越来越多的大厂,更多地采用其原有的产品架构,通过替换为闪存介质,并针对闪存进行性能优化。例如DELL EMC高端全闪VMAX;IBM FlashSystem现在基于原有的V系列;NetApp更倾向于推荐其基于原有FAS的AFF,也即All Flash FAS。

出现这种混闪和全闪统一的趋势,我想可能的原因如下:介质发展、软件栈优化使得原有架构老树发新花,在保持原有丰富功能的前提下,性能大幅提升,逼近甚至超越专门的全闪存;另外,经过多年市场的磨合、验证、优化,稳定性、可靠性、使用习惯、服务和运维习惯、包括与原有系统的兼容(例如跨代容灾)等诸多因素。

浪潮的集中式存储HF/AS系列,便是一套软件栈来支持混闪存储、全闪存储。

3、分布式存储 文件、块和对象等存储服务的统一

1)VMware vSAN

2020年,VMware和NetApp先后发布了三合一的新特性或路标。

例如,VMware vSAN 7.0提供了原生的NAS服务– Virtual Distributed File System,这一新特性其实也并不意外。

早在2015年8月28日,VMware存储和可用性业务部门的CTO Christos Karamanolis就在其文章《VMware and theFuture of Storage and Availability》中表明了VMware vSAN的野心:要打造融合存储平台,不只是支持vSphere的块,还要支持容器、文件,甚至对象(如Rest API)。

Christos这篇文章的中文翻译,可以参见微信公众号 乐生活与爱IT 的《面向未来的软件定义存储平台》(或者参见本篇文章末尾的网址)。

2)DELL EMC

EMC Isilon,现位于DELL EMC PowerScale子品牌之下,支持NAS和S3接口(对象),但不支持块接口。

DELL EMC新出的PowerStore存储,支持SAN和NAS,但不支持对象接口。

3)浪潮存储AS13000

浪潮分布式存储从五、六年前,就坚定地走三合一、多合一(后来加入了对HDFS的支持)的道路,没有走弯路。这套分布式存储就是AS13000分布式存储,能够在分布式存储集群最小节点数(也即3个)同时支持文件、块和对象的接口。如下图所示:

随着三合一、多合一的趋势被更多的认可,越来越多的存储厂商也在往这个方向前进。不过,需要注意的是,有些厂商支持的所谓三合一或多合一,其文件接口并非原生的NAS,而是对象网关,或者HDFS方式,的简单文件接口,缺乏主流NAS的功能,如权限管理、限额管理、快照等基本功能。

四、为什么企业级存储服务要三合一?

我觉得有如下四点原因:

1、节省成本,方便运维

数据猛增,用户的运维复杂度越来越大。一个平台支持多种服务,可以减少因不同存储孤岛而增加的运维工作量。另外,还能在数据共享上提高效率,减少数据流动。例如,AS13000的多源零拷贝,能够让一份业务数据共享给多重应用、多个终端。

2、硬件发展迅猛,减少了多合一带来的不利影响

多合一要发挥好,需要做一些平衡。随着介质、硬件的发展,包括闪存盘、网络如RDMA和NVMe Over Fabric等的发展,能够抹平因平衡带来的影响。

3、云化、容器化的趋势

用户本地数据中心私有云化、容器化,已经成为一个不争的事实,这迫使一个存储平台必须支持多种业务、多种场景,而不同的场景所需要的服务接口是不一样的。

4、智能化的趋势

存储的管理越来越智能化,存储系统逐渐可以在内部根据业务动态需求做资源的调度,更好的发挥不同介质,不同接口下存储使用的效率。

五、未来存储趋势探讨

需要注意的是,随着新应用、新场景不断推陈出新,会对存储产生新的挑战,在某些细分场景,可能会催生出专有的存储。不过,通用存储平台的发展方向,我认为仍是多合一

未来集中式存储和分布式存储会统一吗?我个人觉得,有这种可能,例如集中式和分布式 殊途同归,共同迈向 分布式全闪存 。但走向统一还需要一段时间,技术上需要类似高速网络且低延迟的技术如RDMA、NVMe Over Fabric等大规模普及(包括成本降低),技术之外,还有其他多种因素,例如:生态成熟、用户使用习惯的顺利迁移等。

抛砖引玉,欢迎大家指正。

感谢李铮鋆提供的建议。

本篇文章的一些索引:

1、新华网《金刚川“三合一”导演团队如何分工》

http://www.xinhuanet.com/ent/2020-10/24/c_1126651006.htm

2、Christos文章网址如下

https://blogs.vmware.com/virtualblocks/2015/08/28/the-software-defined-storage-platform-of-the-future/

3、DELL EMC PowerScale和PowerStore

https://www.delltechnologies.com/lv/storage/powerscale.htm#share

https://dl.dell.com/topicspdf/pwrstr-hcg_en-us.pdf

4、乐生活与爱IT 《面向未来的软件定义存储平台》

https://mp.weixin.qq.com/s/3WYCKCFS8mzOj-pGuOt_Ig

5、浪潮存储

https://www.inspur.com/lcjtww/2526546/index.html

存储趋势之极简架构,由《金刚川》导演三合一想起的相关推荐

  1. RepVGG:极简架构,SOTA性能,论文解读

    ** RepVGG:极简架构,SOTA性能,论文解读 ** 更新:RepVGG的更深版本达到了83.55%正确率!PyTorch代码和模型已经在GitHub上放出.DingXiaoH/RepVGG 2 ...

  2. RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大 | CVPR-2021

    作者 | 丁霄汉 编辑 | 李梦佳 2020年B站年度弹幕是"爷青回".一定有很多瞬间,让你感觉"爷的青春回来了".在这个卷积网络各种超参精确到小数点后三位的时 ...

  3. (CVPR-2021)RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大

    转载自论文一作:https://zhuanlan.zhihu.com/p/344324470 论文代码:https://github.com/DingXiaoH/RepVGG/blob/main/re ...

  4. RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大

    点击上方"机器学习与生成对抗网络",关注"星标" 获取有趣.好玩的前沿干货! 本文作者简介:丁霄汉作为清华大学博士生,导师为丁贵广副教授,研究方向是神经网络基本 ...

  5. CVPR-2021 | RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大

    点击上方"迈微AI研习社",选择"星标★"公众号 重磅干货,第一时间送达 2020年B站年度弹幕是"爷青回".一定有很多瞬间,让你感觉&qu ...

  6. 大数据存储引擎 NoSQL极简教程 An Introduction to Big Data: NoSQL

    本文路线图: NoSQL简介 文档数据库 键值数据库 图数据库 Here's the roadmap for this fourth post on NoSQL database: Introduct ...

  7. 【编程实践】Linux / UNIX Shell编程极简教程

    不同于一般的介绍Linux Shell 的文章,本文并未花大篇幅去介绍 Shell 语法,而是以面向"对象" 的方式引入大量的实例介绍 Shell 日常操作,"对象&qu ...

  8. 【编程实践】Google Guava 极简教程

    前言 Guava 工程包含了若干被 Google 的 Java 项目广泛依赖 的核心库,我们希望通过此文档为 Guava 中最流行和最强大的功能,提供更具可读性和解释性的说明. 适用人群 本教程是基础 ...

  9. 华南师范大学:迈向智慧校园的“极简”之路

    当前,我国高校信息化建设正处于从数字化到智能化的变革阶段,智慧教育技术环境.支持服务体系都在发生前所未有的变化.在此背景下,为了给学校师生带来全新的网络体验,进一步提升校园网的信息服务质量,华南师范大 ...

最新文章

  1. 在Ubuntu 16.4.3 LTS x86_64上安装PyCharm社区版笔记
  2. 潜移默化学会WPF(转载篇二)--退出应用程序
  3. 查看变量数据类型的python内置函数_查看变量类型的 Python 内置函数是 ________________ 。_微观经济学(合作办学)答案_学小易找答案...
  4. 如何在Windows上做Python开发?微软出了官方教程(附链接)
  5. MySQL索引背后的数据结构及算法原理--转
  6. 未清采购订单关闭最全的方法
  7. 让思考成为一种习惯:一位软件工程专业学生的大学生涯规划
  8. 10taskkill无法终止进程_?进程的状态转换
  9. OpenGL Fur Rendering毛发渲染的实例
  10. CentOS7.3的基本配置(建议学习用)
  11. 简单理解 Kafka 的消息可靠性策略
  12. 如何寻回xp盘符丢失的数据
  13. 电脑扫描二维码_线上分享 | 网络工作坊:平板电脑工作术
  14. 【重难点】【JVM 01】OOM 出现的原因、方法区、类加载机制、JVM 中的对象
  15. 【java】JVM中Perm区持续上涨问题
  16. 蓝盾小火墙补丁_网络安全知识小科普
  17. 避免 rm -rf 的悲剧
  18. 机器学习实战 11- SVD
  19. PHP留言板之提交留言
  20. PPT幻灯片放映计时器

热门文章

  1. c++ 11 原子操作库 (std::atomic)(一)
  2. JavaScript-canvas(画布)初识、刮刮卡简单练习
  3. 百度地图API的使用(附案例)
  4. 拜占庭故障 Byzantine failures
  5. 从零开始之驱动发开、linux驱动(六十五、内核调试篇--串口驱动)
  6. php课程实验总结报告_PHP课程总结
  7. 正则表达式中的“\w“和“([0-9]|[a-z]|([A-Z]))“
  8. 2007年最经典的高考0分作文
  9. LTE射频拉远单元数字中频方案(七)
  10. linux关机shutdown无效,Linux正确shutdown关机的姿势