近几年分布式存储架构受到主流关注,因为其解决了磁盘的存储容量、存储性能、存储扩展等问题。但是闪存介质通过其几何式发展,让基于分布式存储的优势逐渐减弱。试想一下,一个1U的全闪存阵列轻轻松松达到就实现千万IOPS,实现PB级容量,想选择分布式存储、还是全闪存阵列?用户的选择就多了一些。

每年的Flash Memory Summit都是闪存领域的一次盛会,期间都会有诸多新的闪存技术及产品亮相大会,而中国企业在闪存产品的研发和推广也成为一个主要玩家。而作为其中的参与者北京华云网际科技有限公司(以下简称华云网际)受邀亮相Flash Memory Summit 2017,华云网际总裁游峰以及华云网际CTO王劲凯等多位高管在现场与来自全球的客户、合作伙伴及媒体分享华云网际的领先技术,以及即将开源的华云网际AFA核心模块FlashTarget。

近日至顶网记者采访了华云网际CTO王劲凯,他介绍了Flash Memory Summit 2017上受关注的闪存技术和趋势。以及华云网际如何看待全闪存阵列的技术走势。

Flash Memory Summit2017上,受关注的包括高密度闪存存储的加速推进。Persistent memory的发展以及ScaleFlux的影响。就像文章开头的思考?王劲凯认为与中国市场更关注分布式存储,北美市场已经关注全闪存阵列的趋势。我们看到分布式存储主要解决的一个问题就是数据量比较大的问题,分布式能够比较有效的解决数据量大的问题。但是现在看到NAND密度越来越高,1U设备能做到的容量更高,三星和英特尔都出了大容量的SSD产品,依照NAND存储密度提升速度,未来PB级的数据可以通过一个阵列实现。这也让华云网际思考,基于闪存的存储系统未来到底是一个什么样子?

华云网际于2013年成立,成立之初就开始思考闪存的发展这个问题,也提出以软件为核心,闪存优先的策略。

随着闪存传输速度、容量、性能的大幅度提升。如果采用传统阵列的分布式存储系统已经很难充分发挥闪存的优势。对于未来全闪存阵列的发展,华云网际CTO王劲凯谈到,首先要架构上要跟对方向。当下全闪存阵列主流的架构是X86,而基于ASIC及FPGA的全闪存阵列已经非常少见,当下包括Pure Storage在内都是x86,这与华云网际的研发方向相同。华云网际全闪存阵列主要的硬件架构如下图:

上面两个交换机,保障系统高可用,下侧是两个控制器连JBOF。(全闪存阵列和分布式存储最大的区别在于是否使用了双端口硬盘,分布式存储中如果一个节点宕机,重构时间非常长,整个系统的性能会出现大幅下滑,而全闪存阵列使用双端口硬盘,控制器故障后,仍有链路可以访问硬盘,不会造成特别高的性能下降。)

王劲凯认为未来以太网连接一切的趋势比较明显,因此跳过FC到达NVMe over Fabrics,主要是以太网为主。FC是一个比较古老的技术,比较封闭的生态,当下主流仍为16G,其发展速度没有以太网快,包括FC在内的网络厂商基本都在向以太网转型。将来NVMe over Fabrics的主要方向将是以太网。

通过这些新的创新,华云网际全自主研发的软件定义架构FlashTarget,通过kernel-bypass的方式绕过系统对硬件进行管理通过,支持SPDK的NVMe驱动,借助这些技术,FlashTarget可以极限挖掘闪存性能潜力,将存储系统性能提升到了前所未有的新高度。

为了让上层应用全面的感受到闪存的性能优势,华云网际对整个系统软件堆栈做了彻底的简化,对于软件堆栈的极致压缩,最直接的效果就是系统延迟大幅降低,在FlashTarget支持下,结合华云网际实测数据,Target端的延迟可以降到1微秒(传统存储阵列这一层需要上百微秒),而PCIe SSD这样的存储介质延迟同样在数十微秒量级。

值得一提的是,华云网际与英特尔合作非常深入,是Intel Storage Builders和Intel Cloud Builders的成员,上述测试主要通过英特尔SSD来实现。英特尔作为闪存的主要技术推动者,华云网际和英特尔有很多合作,包括英特尔最新的傲腾SSD,华云网际在测试过程中发现,其性能稳定性等方面都表现非常好,也是现在华云网际主要选择原因。

从整个链路上看,FlashTarget已经将系统的延迟性能逼近极限。基于SAS标准的扩展柜延迟处于毫秒级,为了将链路的延迟降到最低,华云网际基于NVMe over Fabrics技术设计了全新架构的闪存机柜,扩展机柜通过50Gb/s RoCE与控制器相连,装配FlashTarget™的控制器负责NVMe over Fabrics和NVMe(over PCIe)之间的转换。直接结果是访问基于FlashTarget™的机柜仅增加一位数微秒的延迟(3微秒),即便是在数百万IOPS和几个GB/s的吞吐量的情况下也是如此。

闪存时代软RAID趋势

磁盘时代,硬RAID方案盛行,其中LSI的RAID卡是硬RAID代表,但是RAID卡都是使用PCIe接口的,当下高速SSD也是用PCIe 接口,很明显RAID必然成为瓶颈。华云网际FlashTarget通过纠删码、快照/重复数据删除、远程拷贝/镜像等全闪存核心技术来实现闪存时代软RAID。

未来FlashTarget将实现开源

现在看所有的存储方案都需要解决释放闪存性能的问题,闪存要进入下一个时代,就必须有一个高效的软件与之匹配,王劲凯认为当下并没有开源的软件做这件事,一定程度上这一问题会成闪存普及的障碍。FlashTarget是AFA核心软件部分,未来会开源。华云网际将借此推动闪存生态发展,未来FlashTarget开源后华云网际也将有更多的机会。

因此我们看到,未来基于X86的开源架构,基于软件定义的存储系统,加上基于大容量的高密度闪存介质,新的全闪存阵列将会成为数据存储管理的选择之一。

原文发布时间为:2017年8月25日

本文作者:任新勃

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

思考,基于高密度闪存的存储系统未来到底是一个什么样子?相关推荐

  1. 基于高密度EEG情绪想象的无监督机器学习

    文章来源于微信公众号(茗创科技),欢迎有兴趣的朋友搜索关注. 导读 本研究采用自适应混合独立成分分析(AMICA)学习一组ICA模型.研究者使用了20-model的AMICA分解方法,对长时间(1-2 ...

  2. 闪存驱动器_为什么不能将大文件复制到高容量闪存驱动器?

    闪存驱动器 You have a brand new high-capacity flash drive that can store more than the hard drive of your ...

  3. 全闪存存储时代 NVMe到底是什么?

    在最近几年,介质发展突飞猛进,容量和性能都在持续快速提升,各大介质厂商都推出了高性能的NVMe SSD,几乎全球所有的存储大厂都在大力研发基于NVMe的新一代存储产品,一时间NVMe成了存储行业最热门 ...

  4. 2021-2027全球与中国高密度聚乙烯薄膜市场现状及未来发展趋势

    本报告研究全球与中国市场高密度聚乙烯薄膜的产能.产量.销量.销售额.价格及未来趋势.重点分析全球与中国市场的主要厂商产品特点.产品规格.价格.销量.销售收入及全球和中国市场主要生产商的市场份额.历史数 ...

  5. Violin Memory:从闪存存储先锋到曲终人散

    作为曾经的闪存存储行业先锋,Violin Memory公司一直未能将自身的早期市场领先优势转化为盈利,而如今其已经申请Chapter 11破产并表示计划对资产进行拍卖. 而就在这份文件披露的一年之前, ...

  6. 【精华】构建闪存系统和生态环境

     ICT架构师技术交流(微信号ICT_Architect) 介绍分析和交流ICT行业最前沿技术,分享云计算.存储.服务器.数据中心.网络.软件定义和虚拟化等相关知识,旨在知识交流.开放共享和共同进 ...

  7. 华为庞鑫:闪存3.0时代,四大变化激发全闪存数据中心潜能释放

    从2005年到2019年间,中国数字经济总体规模由2.6万亿元增加至35.8万亿元,数字经济在GDP的占比也由14.2%提升至36.2%.随着数字经济蓬勃发展,数据也成为当之无愧的关键生产要素,是基础 ...

  8. 使用大数据闪存打造融合数据平台

    随着企业.服务提供商和超大型数据中心从描述性分析向预测性和规范性分析演进,结合了融合运营和分析数据管道的融合数据平台变得日益重要.大数据闪存可让数据处理平台快速访问历史数据和实时数据流,从而以较低成本 ...

  9. 希捷扩展PCIe产品组合 推出两款新闪存加速卡

    希捷科技公司日前宣布进一步扩展希捷Nytro® XP6000产品系列,推出两款新的PCIe闪存加速卡--Nytro XP6302和XP6209.新卡尺寸更小,能够满足市场对于高性能和大容量的需求,适用 ...

  10. 存数字,储未来——新华三2018存储瞄准闪存、海量、AI与超融合

    每一个时代都有自己的节奏和变化方向.通常变化皆由量变而起,最终导致质的变化,随之产生的则是向新时代的跃变.但在数字化时代,这种变化的规律却仿佛不再适用. 在数字化时代,技术更新与革命已经在多个领域同时 ...

最新文章

  1. 用AI为美国政府“助纣为虐”,微软员工怒了
  2. echarts自动生成图片的解决方案
  3. python 函数教程:必选参数与默认参数
  4. linux虚拟网络设备之,Linux虚拟网络设备
  5. 计算机io接口指令控制,计算机接口及IO指令.ppt
  6. Spring入门与常用配置
  7. 现代软件工程讲义 个人项目和结对项目练习 四则运算
  8. 日期格式化为yyyymmdd_你还在用SimpleDateFormat格式化时间嘛
  9. python3 os模块使用_Python3-os模块-操作系统的各种接口
  10. python大神写的代码_【python】抄写大神的糗事百科代码
  11. [译] APT分析报告:05.Turla新型水坑攻击后门(NetFlash和PyFlash)
  12. 慧编程python硬件_什么是慧编程?慧编程介绍
  13. 关于char[]类型的排序 和字符串在使用时可能char*更好用
  14. macOS Command - softwareupdate
  15. idear怎么设置自动导包
  16. 如何使用QQ群日历和群活动进行会议室安排
  17. EXCEL 2013中“定义名称”的命名规则
  18. Go语言实现获取有道网页结果
  19. 雷达感应智能化技术,让家居生活更智能,雷达传感器技术应用
  20. Unity教程之-Unity游戏技能Skill系统架构设计

热门文章

  1. Power Designer的4种模型文件
  2. 4.寻找两个正序数组的中位数
  3. tcp压力测试工具_DNS压力测试工具之——DNSperf
  4. ubuntu MySQL-python 安装失败解决方法
  5. xml+css+sql+json+html+js格式化,JavaScript格式化json和xml的方法示例
  6. Linux的学习方法
  7. flutter实现Icon可以用Image替换
  8. SQL Server-【知识与实战VII】存储过程(上)
  9. 【安装包】gcc编译器
  10. Android【报错】Description Resource Path Location Type Unparsed aapt error(s)! Cheheck the console for o