硬件和存储

硬件发展的6个规律

数据发展的规律

图灵奖获得者Jim Gray提出经验定律：网络环境下每 18 个月产生的数据量等于有史以来数据量之和。(到目前为止，数据的增长基本满足这个规律)
结论：数据增长速度远远超过硬件的发展速度。

作为计算机的传统主流方向，数据库只有三位图灵奖得主，都是大名鼎鼎的人物，开创了属于自己的时代。
Charles W. Bachman (1973) – 数据库
Edgar Frank Codd (1981) – 关系数据模型
Jim Gray(1998) – 数据库和事务处理

存储设备的挑战

性能挑战

尽管单个存储设备的性能得到很大发展，但其发展速度仍然赶不上处理器和网络的性能增长速度。

容量挑战

单个存储设备的容量在快速增长，却依然无法满足新兴应用的需求。

可用性挑战

由于存储介质单位容量密度提高，存储设备出现错误也增多，而容量增长会放大存储数据出错的概率，进而影响到数据可用性。

数据可用性的三个级别

区别于设备的可用性，数据可用性有三个级别：

1. 数据不丢失（最起码的要求）
2.系统不停机（7×24服务的保障）
3.性能不下降（优质服务的保障）
解决可用性问题的典型途径：
冗余（双机，网络RAID)
备份（磁带、光盘、硬盘）

数据存储技术

因此，在过去几十年，数据存储技术（如RAID、SAN、NAS等）得到越来越广泛的关注，并成为科研及和产业界的研究热点。
传统存储系统结构中，存储子系统仅仅被视作主机/服务器的外围I/O设备；
当前的存储系统则是具有计算单元、数据存储空间和网络传输部件的独立计算机系统，能够提供独立的数据存储服务。

数据存储的挑战

智能时代，数据存储正面临四大挑战

挑战1：生产交易类数据高并发、低延时、高可靠；
随着5G带来的大带宽、低时延，对数据处理速度、频度、可靠性提出了新的要求；以金融交易为例，我们每天用到的微信、支付宝等小额支付，使得交易量增长10倍以上，而且在线购物也不再受门店营业时间的限制，必须做到7x24小时不间断服务。这些都对数据交易的时延、可靠性等提出了前所未有的挑战。
挑战2：海量非结构化数据存储，长期保存与价值挖掘
类似今日头条每天50PB的数据，绝大多数都是非结构化数据。窄带和宽带物联网、4K/8K视频、自动驾驶等多数据源、多模数据的大量采集、长期保存、冷数据变温数据等带来了新的海量数据存储需求。
挑战3：数据无缝流动，融合高效的处理与分析；
数据要长期保存，更要无缝流动才能产生更多的价值。从实际业务来看，在距离数据产生最近的边缘场景，比如摄像头，传感器等，数据如何存储和高速处理，如何提供边、中心、云的统一数据保护和管理，既可以让数据高速流动，又能做到每比特成本最优，价值最大，也是数据存储业务面临的新挑战。
挑战4：数据全生命周期管理，场景化、智能化、降本增效。
数据全生命周期管理，从数据产生的源头，实现边云协同叠加AI的能力。业务希望能充分利用云上数据量大的优势形成基线，同时在本地增量训练。结合具体业务提供个性化调优，实现对数据生产、分析、备份、归档的全生命周期的智能化管理。这也是颠覆传统IT架构，从数据视角打破边界，构建数据基础设施的一个重要理念。

数据存储的要求

智能时代，存储应该具有哪些特征才能更好的应对新技术、新业务带来的新挑战呢？

智能时代的数据存储要充分利用AI的能力实现Storage for AI和AI in Storage，进而承载数据全生命周期智能管理

面向多模数据、多级介质、边、中心、云物理位置、多种协议带来的数据孤岛，通过融合进行打通。

在高可靠性领域，不仅仅是在架构层面，在组件（硬盘）、系统（RAID）、解决方案（双活）层面同时要有大量的创新。
欢迎大家加我微信交流讨论（请备注csdn上添加）

存储面临的问题及挑战相关推荐

实际场景中，云原生存储面临的 7 个挑战
作者 | Eric Li (壮怀) 阿里巴巴云原生存储负责人引言随着云原生应用对可迁移性.扩展性和动态特性的需求,对云原生存储也带来了相应的密度.速度.混合度的要求,所以对云存储基本能力之上又提出 ...
工业4.0时代IIoT存储面临哪些挑战
马上就是国庆节了,Jesse提前祝大家节日快乐,本期我们想聊聊IIoT存储,看看在工业4.0时代IIoT存储面临哪些需求和挑战. 本文仅代表个人观点,如有偏颇之处,还请海涵- 新技术正在改变商业世界, ...
海量数据的传统存储面临的挑战，主要体现在哪几方面？
随着大数据.云计算.物联网等新技术的发展,电信.互联网.政企等行业应用日新月异,数据呈爆炸式增长并成为战略性资源.全球数据量每年约30%的速度递增,2020年达到惊人的40ZB. 面对海量数据,传统存 ...
oracle 测试坚挺,access数据库用户依然坚挺，但是面临新的对手挑战
access数据库用户依然坚挺,但是面临新的对手挑战 2020年03月12日 12:40作者:黄页编辑:黄页分享 Access的诞生是对Excel的突破, Excel操作灵活功能丰富,一直是人们生活 ...
分布式数据库系统面临的问题和挑战
分布式数据库系统在逻辑上可以看作一个完整的系统,用户如同在使用单机数据库系统:但是,从物理角度看,其为一个网络系统,包含若干个物理意义上的分散的节点,而节点之间通过网络进行连接,通过网络协议进行数据交 ...
银行数字化转型开年布局，金融级架构面临的6大挑战和应对思路
2021 年 12 月和 2022 年 1 月,两份关于银行数字化转型的重量级指导文件--中国人民银行的<金融科技发展规划(2022-2025 年)>(以下简称"发展规划&quo ...
紫光存储面临巨大调整，紫光集团的SSD业务以后靠谁了呢？
紫光存储变化挺大,值得关注一下. 编辑 3月18日消息,紫光集团旗下子公司紫光存储即将解散,目前员工已在等待紫光集团旗下其他分公司挑选或寻找新工作中.一位熟悉紫光存储上海的知情人士透露,"目 ...
云计算中面临的9个挑战和风险及防范策略
新钛云服已累计为您分享680篇技术干货随着时间的推移,云计算正在获得更广泛的采用.在可伸缩性.速度.性能和灵活性方面,它为各种规模的组织和个人提供了许多好处. 迁移到云已经成为大流行后的必然,不再只 ...
智源深度 | NLP 面临的三大真实挑战（含视频）
自然语言处理一直被誉为人工智能皇冠上的明珠. 一方面,实现语言智能十分艰难.尽管机器人在电竞.围棋等方面频频超越人类,但目前的系统仍无法达到三.四岁孩童的语言和理解能力. 另一方面在于自然语言处理本身 ...

存储面临的问题及挑战