存储趋势之极简架构,由《金刚川》导演三合一想起的
存储领域的极简架构指的是一个存储平台,一个数据中心。它的含义很丰富,如:一套软件栈支持多种介质,或者一套软件栈支持多种存储服务接口,例如文件、块、对象。
为什么出现越来越多的三合一、多合一?
我想,是因为速度、便利、成本等原因。其中的关键是,大多数人需要的是一个方便易用、成本节省的通用平台。这篇文章是近日看到北京青年报报道电影《金刚川》启发的。
一、电影
《金刚川》剧组只有3个月制作周期,三位导演、三个团队,他们是如何带领全剧组5000人完成了这份“三合一”的工作呢?
新华网2020-10-24有篇文章《金刚川“三合一”导演团队如何分工》有详尽的介绍。
看得出来,这个任务极其艰巨,每个导演的价值观、叙事方式、拍摄风格、偏好等都不一样,如何让电影呈现为一个整体,并且尽可能顺畅、不重复、无违和感,其中大量的沟通工作,妥协、权衡,相互补充和成就,也是必不可少的。当然,这种赶工之作,会给影片带来一些瑕疵。
不过,类似这种,为了快速上线,或者宏大叙事下单个导演或单个剧组力有不逮的情况下,将来可能会有越来越多的电影、电视的创作采用这种方式,甚至形成工业流水线的模式。
二、手机
如下图所示,分别是便携式播放器、专业相机或摄像机,以及手提电话。以往我们外出,如果我们有这三种需求,恐怕需要背包来专门伺候它们。因为便利,它们合成了手机,而且手机还有很多的其他功能合成进来,计算器、闹钟、时钟、阅读、娱乐、交友等。
除非专业人员,或者对音质、影像、通讯等有着严苛的要求,
当这种多合一同时兼具便携、成本方面的巨大优势,而且性能还不错时,对于以往的产品的打击是降维攻击。
三、企业级存储
1、集中式存储 SAN和NAS的统一
我们先来看集中式存储,2007年,EMC为了阻击NetApp的增长,在市场策略、组织架构都做了调整,基于中端存储CLARiiON系列的基础上,推出了统一存储Celerra NS 产品线,集成了NAS(网络附加存储)、iSCSI和光纤通道连接的存储服务。其实就是CLARiiON存储+ Data Mover(NAS网关) + Control Station(控制终端)的松耦合架构,和旧的Celerra没有太多的不同。不过,大约在2009年后,EMC推出了Virtual Data Mover(简称VDM),虚拟机版本的NAS网关,之后又有了容器版本的VDM。
印象特别深刻的是,那时候EMC中国为了抢占NAS市场,甚至出现过用户买NS产品(也即CLARiiON SAN存储+NAS网关的组合),甚至比单买里面的CLARiiON SAN存储,价格还便宜的情况。
之后,SAN+NAS这种统一存储的方式,成了集中式存储的标配。例如曾经的DELL Compellent + FS8600,IBM V7000 Unified,HDS HUS等。
支持统一存储SAN+NAS方式的,还有浪潮存储的全闪HF系列,AS系列,如HF5000G5,HF6000G5,AS5600等。
2、集中式存储 混闪和全闪的统一
2010年~2013年,是闪存阵列初创厂商大放异彩的时候,例如Violin Memory、Pure Storage、Nimble Storage、SolidFire、Texas Memory Systems(简称TMS)、XtremIO。
回顾这些闪存公司,或许对我们有所启发:
2012年5月,EMC收购XtremIO(成立于2009年) 。EMC公司总裁ChadSakac声称,XtremIO将成为EMC发展历史上最快突破年销售额10亿美元大关的产品。
2012年8月,IBM收购TMS,产品系列改名为FlashSystem。
Violin Memory成立于2005年,2013年上市,2016年宣布破产,技术上可能缘于它的性能很好,但传统阵列的基础功能和高级功能,它实现得较为缓慢。
而成立于2009年Pure Storage在功能完善上迭代较快,后来居上,2015年上市,至今市场表现仍不错。
SolidFire成立于2010年,2017年8月被NetApp收购。
然而,耐人寻味的是,越来越多的大厂,更多地采用其原有的产品架构,通过替换为闪存介质,并针对闪存进行性能优化。例如DELL EMC高端全闪VMAX;IBM FlashSystem现在基于原有的V系列;NetApp更倾向于推荐其基于原有FAS的AFF,也即All Flash FAS。
出现这种混闪和全闪统一的趋势,我想可能的原因如下:介质发展、软件栈优化使得原有架构老树发新花,在保持原有丰富功能的前提下,性能大幅提升,逼近甚至超越专门的全闪存;另外,经过多年市场的磨合、验证、优化,稳定性、可靠性、使用习惯、服务和运维习惯、包括与原有系统的兼容(例如跨代容灾)等诸多因素。
浪潮的集中式存储HF/AS系列,便是一套软件栈来支持混闪存储、全闪存储。
3、分布式存储 文件、块和对象等存储服务的统一
1)VMware vSAN
2020年,VMware和NetApp先后发布了三合一的新特性或路标。
例如,VMware vSAN 7.0提供了原生的NAS服务– Virtual Distributed File System,这一新特性其实也并不意外。
早在2015年8月28日,VMware存储和可用性业务部门的CTO Christos Karamanolis就在其文章《VMware and theFuture of Storage and Availability》中表明了VMware vSAN的野心:要打造融合存储平台,不只是支持vSphere的块,还要支持容器、文件,甚至对象(如Rest API)。
Christos这篇文章的中文翻译,可以参见微信公众号 乐生活与爱IT 的《面向未来的软件定义存储平台》(或者参见本篇文章末尾的网址)。
2)DELL EMC
EMC Isilon,现位于DELL EMC PowerScale子品牌之下,支持NAS和S3接口(对象),但不支持块接口。
DELL EMC新出的PowerStore存储,支持SAN和NAS,但不支持对象接口。
3)浪潮存储AS13000
浪潮分布式存储从五、六年前,就坚定地走三合一、多合一(后来加入了对HDFS的支持)的道路,没有走弯路。这套分布式存储就是AS13000分布式存储,能够在分布式存储集群最小节点数(也即3个)同时支持文件、块和对象的接口。如下图所示:
随着三合一、多合一的趋势被更多的认可,越来越多的存储厂商也在往这个方向前进。不过,需要注意的是,有些厂商支持的所谓三合一或多合一,其文件接口并非原生的NAS,而是对象网关,或者HDFS方式,的简单文件接口,缺乏主流NAS的功能,如权限管理、限额管理、快照等基本功能。
四、为什么企业级存储服务要三合一?
我觉得有如下四点原因:
1、节省成本,方便运维
数据猛增,用户的运维复杂度越来越大。一个平台支持多种服务,可以减少因不同存储孤岛而增加的运维工作量。另外,还能在数据共享上提高效率,减少数据流动。例如,AS13000的多源零拷贝,能够让一份业务数据共享给多重应用、多个终端。
2、硬件发展迅猛,减少了多合一带来的不利影响
多合一要发挥好,需要做一些平衡。随着介质、硬件的发展,包括闪存盘、网络如RDMA和NVMe Over Fabric等的发展,能够抹平因平衡带来的影响。
3、云化、容器化的趋势
用户本地数据中心私有云化、容器化,已经成为一个不争的事实,这迫使一个存储平台必须支持多种业务、多种场景,而不同的场景所需要的服务接口是不一样的。
4、智能化的趋势
存储的管理越来越智能化,存储系统逐渐可以在内部根据业务动态需求做资源的调度,更好的发挥不同介质,不同接口下存储使用的效率。
五、未来存储趋势探讨
需要注意的是,随着新应用、新场景不断推陈出新,会对存储产生新的挑战,在某些细分场景,可能会催生出专有的存储。不过,通用存储平台的发展方向,我认为仍是多合一。
未来集中式存储和分布式存储会统一吗?我个人觉得,有这种可能,例如集中式和分布式 殊途同归,共同迈向 分布式全闪存 。但走向统一还需要一段时间,技术上需要类似高速网络且低延迟的技术如RDMA、NVMe Over Fabric等大规模普及(包括成本降低),技术之外,还有其他多种因素,例如:生态成熟、用户使用习惯的顺利迁移等。
抛砖引玉,欢迎大家指正。
感谢李铮鋆提供的建议。
本篇文章的一些索引:
1、新华网《金刚川“三合一”导演团队如何分工》
http://www.xinhuanet.com/ent/2020-10/24/c_1126651006.htm
2、Christos文章网址如下
https://blogs.vmware.com/virtualblocks/2015/08/28/the-software-defined-storage-platform-of-the-future/
3、DELL EMC PowerScale和PowerStore
https://www.delltechnologies.com/lv/storage/powerscale.htm#share
https://dl.dell.com/topicspdf/pwrstr-hcg_en-us.pdf
4、乐生活与爱IT 《面向未来的软件定义存储平台》
https://mp.weixin.qq.com/s/3WYCKCFS8mzOj-pGuOt_Ig
5、浪潮存储
https://www.inspur.com/lcjtww/2526546/index.html
存储趋势之极简架构,由《金刚川》导演三合一想起的相关推荐
- RepVGG:极简架构,SOTA性能,论文解读
** RepVGG:极简架构,SOTA性能,论文解读 ** 更新:RepVGG的更深版本达到了83.55%正确率!PyTorch代码和模型已经在GitHub上放出.DingXiaoH/RepVGG 2 ...
- RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大 | CVPR-2021
作者 | 丁霄汉 编辑 | 李梦佳 2020年B站年度弹幕是"爷青回".一定有很多瞬间,让你感觉"爷的青春回来了".在这个卷积网络各种超参精确到小数点后三位的时 ...
- (CVPR-2021)RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大
转载自论文一作:https://zhuanlan.zhihu.com/p/344324470 论文代码:https://github.com/DingXiaoH/RepVGG/blob/main/re ...
- RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大
点击上方"机器学习与生成对抗网络",关注"星标" 获取有趣.好玩的前沿干货! 本文作者简介:丁霄汉作为清华大学博士生,导师为丁贵广副教授,研究方向是神经网络基本 ...
- CVPR-2021 | RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大
点击上方"迈微AI研习社",选择"星标★"公众号 重磅干货,第一时间送达 2020年B站年度弹幕是"爷青回".一定有很多瞬间,让你感觉&qu ...
- 大数据存储引擎 NoSQL极简教程 An Introduction to Big Data: NoSQL
本文路线图: NoSQL简介 文档数据库 键值数据库 图数据库 Here's the roadmap for this fourth post on NoSQL database: Introduct ...
- 【编程实践】Linux / UNIX Shell编程极简教程
不同于一般的介绍Linux Shell 的文章,本文并未花大篇幅去介绍 Shell 语法,而是以面向"对象" 的方式引入大量的实例介绍 Shell 日常操作,"对象&qu ...
- 【编程实践】Google Guava 极简教程
前言 Guava 工程包含了若干被 Google 的 Java 项目广泛依赖 的核心库,我们希望通过此文档为 Guava 中最流行和最强大的功能,提供更具可读性和解释性的说明. 适用人群 本教程是基础 ...
- 华南师范大学:迈向智慧校园的“极简”之路
当前,我国高校信息化建设正处于从数字化到智能化的变革阶段,智慧教育技术环境.支持服务体系都在发生前所未有的变化.在此背景下,为了给学校师生带来全新的网络体验,进一步提升校园网的信息服务质量,华南师范大 ...
最新文章
- 在Ubuntu 16.4.3 LTS x86_64上安装PyCharm社区版笔记
- 潜移默化学会WPF(转载篇二)--退出应用程序
- 查看变量数据类型的python内置函数_查看变量类型的 Python 内置函数是 ________________ 。_微观经济学(合作办学)答案_学小易找答案...
- 如何在Windows上做Python开发?微软出了官方教程(附链接)
- MySQL索引背后的数据结构及算法原理--转
- 未清采购订单关闭最全的方法
- 让思考成为一种习惯:一位软件工程专业学生的大学生涯规划
- 10taskkill无法终止进程_?进程的状态转换
- OpenGL Fur Rendering毛发渲染的实例
- CentOS7.3的基本配置(建议学习用)
- 简单理解 Kafka 的消息可靠性策略
- 如何寻回xp盘符丢失的数据
- 电脑扫描二维码_线上分享 | 网络工作坊:平板电脑工作术
- 【重难点】【JVM 01】OOM 出现的原因、方法区、类加载机制、JVM 中的对象
- 【java】JVM中Perm区持续上涨问题
- 蓝盾小火墙补丁_网络安全知识小科普
- 避免 rm -rf 的悲剧
- 机器学习实战 11- SVD
- PHP留言板之提交留言
- PPT幻灯片放映计时器
热门文章
- c++ 11 原子操作库 (std::atomic)(一)
- JavaScript-canvas(画布)初识、刮刮卡简单练习
- 百度地图API的使用(附案例)
- 拜占庭故障 Byzantine failures
- 从零开始之驱动发开、linux驱动(六十五、内核调试篇--串口驱动)
- php课程实验总结报告_PHP课程总结
- 正则表达式中的“\w“和“([0-9]|[a-z]|([A-Z]))“
- 2007年最经典的高考0分作文
- LTE射频拉远单元数字中频方案(七)
- linux关机shutdown无效,Linux正确shutdown关机的姿势