人工智能技术将极大地改变各行各业的面貌,企业级存储领域也是这样。

近几年,存储领域最火的软件定义存储、智能存储等概念背后,都有一个关键词——智能化。原因就在于,越来越多的企业已经意识到,相比拥有数据而言,善于利用数据、从数据中获取价值,才是真正的竞争优势。

2019年下半年,IBM发布了一系列面向AI与大数据、现代数据保护的新一代软件定义存储产品,致力于借助AI技术,跨越时空帮企业管好数据。

未来企业级存储的挑战是什么?什么是新一代软件定义存储?IBM存储的优势和策略又是什么?带着以上这些问题,趣味科技于近日采访了IBM副总裁、大中华区系统部总经理侯淼和IBM大中华区系统部存储系统总经理吴磊。

IBM副总裁、大中华区系统部总经理侯淼

新挑战:当数据活得越来越久

“数据的发展有两大趋势:一个是数据越来越多,也就是大家都熟悉的数据大爆炸;还有一个维度,就是数据的生命周期正在变得越来越长。”IBM副总裁、大中华区系统部总经理侯淼表示。

如果按使用频率划分,数据可以用一张冰山图来表示。露出水面的冰山一角是一级存储(Primary Storage),针对热数据和温数据,比如需要高IOPs、低时延、高性能计算分析的实时数据。冰山的水下部分是二级存储(Secondary Storage),针对冷数据,比如用于归档、备份的数据、媒体与图像资料库、物联网数据等。有数据统计,二级存储约占企业存储的70%。

随着信息安全法规和金融、医疗等行业不断加强数据监管,企业对数据留存时间的要求越来越高,水面之下的冰山部分越来越大。2016年《反恐法》规定,重要场所视频监控图像保持期限不得少于90天。银监会规定,理财产品的数据要在结束后的2年内进行保留归档。一些能源制造企业,在生产环境下要求对数据有五年、十年,甚至数十年的保存。

数据爆炸与周期变长的叠加,以及AI和大数据进入生产环境,都在不断推高企业对数据存储的要求。IBM大中华区系统部存储系统总经理吴磊认为,企业级存储面临的新挑战表现在多个方面:

首先,人工智能、大数据技术已经从POC(概念验证)环节进入生产环节。在全新的应用场景中,海量数据正源源不断涌现。多元数据的摄取,准备的周期非常长。

其次,越来越多的企业选择混合多云的环境部署业务,如何把传统数据中心,传统应用,不同云环境等不同IT环境的数据打通是个大挑战。同时,面对不同架构多灾备的数据副本,如何保证数据单一的真实性来源也是痛点。

第三,如何保护数据在更长久周期内的可用、可回溯性、可审计性。

IBM大中华区系统部存储系统总经理吴磊

如何解决这些新挑战?IBM将存储产品从功能上划分为两大维度,一个是数据存储,一个是数据访问。数据存储方面,IBM追求跨越时空和性价比。即使数据容量涨得很快,也能保持企业的IT投资处在合理水平。在数据访问方面,强调用AI技术打造从数据获取价值的极速管道。

“IBM是全球存储产品最丰富的公司。IBM存储分为四大部分:第一,storage for multi hybrid cloud,面向混合多云环境的存储构架;第二,Storage for AI and Big Data,针对人工智能和大数据的存储;第三,Modern Data Protection,围绕我们Spectrum Protection和Protection Plus软件系统的现代数据保护;第四,Storage  for Z,与主机结合的存储。”侯淼介绍。

新管道:如何加速AI燃料充分“燃烧”?

在算法、算力、数据三要素中,数据是AI的燃料。反过来,“AI的关键是将数据转变为生产力。”吴磊指出。

然而,在传统存储架构下,从数据到生产力的管道却经常堵塞。比如在不同介质、异构架构的元数据源摄取上,如果无法做到全球范围、快速数据摄取和实时分析,有再好的CPU、GPU、FPGA也无法发挥数据价值。再比如,在数据分类与元数据标注上,数据的摄取、准备的周期非常长,极大影响了AI模型训练的效率。也就是说,数据从入口进来的太慢,已经成为AI技术落地的一个瓶颈。

IBM本次发布了端到端的NVMe解决方案IBM Elastic StorageSystem 3000(ESS 3000)以及元数据管理软件IBM Spectrum Discover,专为人工智能和大数据工作负载打造。二者的组合打通了数据摄取、分类标注、数据分析、数据训练在内的高速管道,打造了适用于任何高I/O吞吐的生产级人工智能大数据分析平台。

ESS 3000被称为“为AI和大数据实现快速、高度可扩展存储部署的最简单方法”。ESS 3000的核心优势可以用高性能、高扩展、简单部署来概括。

首先,ESS 3000采用NVMe闪存存储,每个2U构建块可提供40GB/s的吞吐量。顺序读取性能最高可达42GB/s,顺序写入性能最高可达32GB/s。

其次,ESS 3000的核心技术是IBM Spectrum Scale。IBM Spectrum Scale是IBM经历多年企业级生产环境验证的并行文件存储系统,其代码迭代超过20年。从名字可以看出,IBM Spectrum Scale的无缝扩展功能可以应对海量非结构化数据的增长。

第三,ESS 3000透过容器化技术把IBM Spectrum Scale封装在全闪存设备中,带来开箱即用的简单部署。企业部署时间可以从原来的数天降低到几个小时。

元数据管理软件IBM Spectrum Discover能够对规模级数据快速识别、分类,可以快速摄入、合并数十亿个文件和对象的元数据并对其进行索引处理。IBM Spectrum Discover的作用在于帮助数据科学家、数据管理者高效管理海量非结构化数据,从数据中快速挖掘价值。

此外,在智能化存储管理方面,IBM Spectrum Control可以借助AI技术自动化进行存储性能、安全性的监控和分析,并与IBM成熟的存储管理经验公式进行比照,为客户提供预测性故障分析。

老传统:跨越时空帮企业管好数据

提到能够跨越时空的物质,很多人会想到石头。“一颗恒久远”的钻石就是石头。小说《三体》中,云天明把几行字刻在石头上,过了1800万年之后还能被程心看到。

在时间维度上,当数据的寿命越来越长,企业必然希望数据能够长久保存,磁带这一种传统的存储方式焕发出了新的活力。很多人以为磁带技术早已淘汰过时,吴磊举了一个简单的例子说明磁带保存数据的长期性和可靠性。

一家全球的科研机构,在几年前要把过去十年存储在磁带上的数据梳理一遍。这些带子总共几万盘,总长度2200万米。除了200多米长的数据读不出来,其他数据都完好无缺。

相比只能保存2-3年的硬盘,保存十年却只有大约十万分之一的损坏率,足以说明磁带存储的经久耐用。而且断裂的磁带可以重新接上进行修复,而硬盘类存储一旦损坏数据就全部找不回来。在成本上,磁带存储比硬盘便宜80%-90%左右。对于海量归档、备份属性的二级存储数据,磁带存储是更可靠、更便宜、寿命更长、更安全(隔离网络,天然防止黑客攻击)的解决方案。

吴磊介绍,作为全球仅有的几家具备磁带存储解决方案的企业,IBM也在不断升级磁带技术。IBM不但将磁带密度越做越高,还通过磁带文件系统IBM Spectrum Archive,实现了软件定义的磁带解决方案,可以对磁带数据智能回溯,方便调取历史数据。目前,IBM的磁带存储在电视台、网络音频、视频公司都有广泛使用。

在空间维度上,IBM存储针对混合多云的环境打造了跨数据中心和云的统一存储管理。IBM Spectrum Scale可将闪存、磁盘、云和磁带存储合并到一个统一的系统之中,实现规模化的数据管理。IBM Spectrum Discover可轻松连接至内部环境和云环境中的多个文件与对象存储系统。在数据保护方面,IBM Spectrum Protect Plus是专为混合多云环境而设计的一体化数据保护解决方案,可以快速恢复 VM、数据库、应用和容器。

此外,SVC(SAN Volume Controller)可以利用IBM Spectrum Virtualize for Public Cloud的广泛功能,简化多云解决方案,实现异构存储全面云化。IBM第二代对象存储COS(Cloud Object Storage)采用标准的S3接口,可以无缝访问本地和云端的对象存储。

在交付方式上,IBM为企业提供一体机和纯软件交付灵活组合的方式。可以说,在新的存储挑战下,IBM用实力诠释了新一代软件定义存储的概念。同时也体现了IBM存储的三大优势:现代化,现代化基础架构下,不断迭代推出更新的闪存技术;敏捷,在混合多云环境下做到容器化的封装,灵活可扩展,极简部署;安全,更长周期的数据存储和更可靠的数据保护。

“数据是客户唯一的唯一,我们的工作就是跨越时空,把客户针对数据所有的事情做好,做扎实。”吴磊强调。

让AI燃料加速“燃烧”,IBM新一代软件定义存储来了相关推荐

  1. IBM把红帽存储纳入存储业务部门;现代汽车到2025年将旗下全款车型升级为“软件定义汽车” | 美通企业日报...

    美通社要闻摘要: IBM宣布把红帽存储纳入存储业务部门.现代汽车到2025年将旗下全款车型升级为"软件定义汽车".华为全联接大会2022在阿联酋迪拜举办.富士胶片欧文科技及富士胶片 ...

  2. 遇见未来 | 基于软件定义存储的数据加速解决方案:让你的系统加速跑

    在互联网和大数据的压力下,很多企业面临着经济增长下滑.跨行业竞争激烈,用户需求越来越个性化.于是如何实现转型.业务创新和盈利增长成为企业的共同诉求. 而依靠硬件的提升获取系统性能大幅度提升的日子已经一 ...

  3. 国产AI芯片加速,鲲云携手浪潮推出数据流AI服务器

    近日,鲲云科技携手浪潮基于星空X3加速卡推出新一代的数据流AI服务器,定位高性能图像视频智能分析的AI计算加速,支持智慧城市.智能制造.智慧油田.智慧工地.智算中心等典型AI应用场景,这是双方&quo ...

  4. AI芯片加速图像识别

    AI芯片加速图像识别 AI chip accelerates image recognition 法国研究机构CEA-Leti和LIST在2020年VLSI研讨会上展示了一种概念验证芯片,该芯片集成了 ...

  5. 免费公开课 | 基于定制数据流技术的AI计算加速

    随着人工智能时代的来临,业内对于更高效率算力的需求也越来越紧迫,而传统的 CPU 计算能力弱,只适合软件编程,并不适合应用于人工神经网络算法的自主迭代运算. 为了满足支撑深度学习的大规模并行计算的需求 ...

  6. AI模型加速进入万亿级时代,中国AI算力独占全球三成

    来源:新智元本文约1400字,建议阅读6分钟<全球人工智能市场半年度追踪报告>重磅发布! [ 导读 ]IDC 2020H1<全球人工智能市场半年度追踪报告>(<World ...

  7. TorchFusion 是一个深度学习框架,主要用于 AI 系统加速研究和开发

    TorchFusion 是一个深度学习框架,主要用于 AI 系统加速研究和开发. TorchFusion 基于 PyTorch 并且完全兼容纯 PyTorch 和其他 PyTorch 软件包,它供了一 ...

  8. Runway!AI技术+视频制作的新一代视频内容生成工具

    原文:Runway!AI技术+视频制作的新一代视频内容生成工具 - 优设网 - 学设计上优设 重要说明:这个是一个非常好的视频图像编辑软件.由于下面是视频不能复制效果,请看原文. 大家好,这里是和你们 ...

  9. 【新手基础教程】MaixPy AI 硬件加速基础知识

    MaixPy AI 硬件加速基本知识 1. 模型使用和硬件加速原理 前面我们知道了模型是一个数据机构以及很多参数, 最终以一个文件比如kmodel格式的文件的形式存在. 而这个模型要能在 MaixPy ...

  10. 自主AI能力加速企业智能化转型 | 爱分析报告

    报告编委 黄勇 爱分析合伙人&首席分析师 孟晨静 爱分析分析师 外部专家(按姓氏拼音排序) 杜晨阳 力维智联 五维实验室主任 王哲 九章云极DataCanvas 雅图BU总经理 特别鸣谢(按拼 ...

最新文章

  1. Go 学习笔记(54)— Go 第三方库之 uber-go/zap/lumberjack(记录日志到文件、支持自动分割日志、支持日志级别、打印调用文件、函数和行号)
  2. Ubuntu上五款搜索工具:Albert、Synapse、Utools、Ulauncher、FSearch
  3. Elasticsearch yellow 意味着主分片可用,副本不可用
  4. android SwipeRefreshLayout 增加上拉加载更多
  5. 当脑机接口应用于建筑工地,会发生什么?
  6. matlab版本的cnn代码,Deep Learning学习 之 CNN代码解析(MATLAB)
  7. 计算机网络第四章:网络层
  8. 白话Elasticsearch23-深度探秘搜索技术之通过ngram分词机制实现index-time搜索推荐
  9. 安装路径是什么意思_404 not found nginx是什么意思
  10. Oracle查询所有序列;[oracle中如何创建表的自增ID(通过序列);oracle sql语句大全
  11. 龙果充值平台,具备话费充值、流量充值、话费卡兑换功能;可以拓展其他充值兑换业务;也适用于支付、鉴权等业务功能的拓展。
  12. java设计app_一个APP的诞生——从零开始设计你的手机应用
  13. 开发一个自己的 CSS 框架(二) 1
  14. Apollo 2.0 车辆控制算法LQR解析
  15. KATEX公式编辑器符号大全-CSDN的Mardown公式支持
  16. 应对微软黑屏的解决办法
  17. 如何启动android模拟器,如何从命令行启动Android模拟器?
  18. 【时间序列】Holt-Winters 指数平滑方法及其 Python 实践
  19. ROS修改小乌龟程序背景颜色
  20. Oracle-使用XTTS方式迁移11G到PDB数据库

热门文章

  1. Echarts图表移动端手机横屏展示
  2. python里面的pip是什么意思_python中pip是什么
  3. Oracle中insert into select和select into from的用法
  4. intro是啥意思_Intro是什么意思?
  5. 成为一名机器学习算法工程师,你需要这些必备技能
  6. EXCEL制作柱形图逆序的意义
  7. 计算机专业申请phd美国,揭秘美国大学计算机专业PHD申请难度有多大
  8. 【BDTC 2016】专访中兴飞流吕阿斌、郑龙:Yita,基于数据流的大数据计算引擎...
  9. 感冒为什么会流鼻涕?
  10. 拖放drag、drog