国际数据公司（InternationalData Corporation, IDC）报告称，全球数据容量将从2018年的33 ZB(zettabytes)增长到2025年的175 ZB。随着数据增长的多样性和快速性，这种趋势变得越来越复杂，并且它还不断改变着数据收集，存储，处理和分析的方式。基于机器学习、深度学习、人工智能（AI）、新架构、新工具等方法的新分析解决方案正在开发中，以便从庞大的数据领域中提取和交付价值。

在这些解决方案中，计算和存储的分离架构变得越来越有吸引力，因为它使得公司能够独立扩展存储容量以便匹配计算的增长率，从而减少了资产支出和运维支出。但是，这种分离架构会引起某些类型工作负载的性能损失。我们之前的工作表明，由于常用的云适配器不支持事务写入，因此计算和存储的分离可能导致性能下降60%。

Intel® Optane™持久内存（Persistent Memory, PMem）是一项创新的内存技术，它引入了一个介于内存和存储之间的新类别，将可负担的大容量与对数据持久性的支持完美地结合在一起。用户能够在可承受的成本范围内构建更大的持久性内存层，为各种工作负载提供灵活的（包括易失性或非易失性）高性能存储层，包括但不限于云中虚拟机，内存数据库等。Intel®Optane™持久内存有两种不同的操作模式：Memory模式和APP Direct模式。

我们构建了一个由Alluxio和Intel Optane持久内存组成的新解决方案，并运行了一些测试性能的基准。您可以在下文找到相关的概述和结果。此外，您可以在我们编写的白皮书中获得更多详细信息。

Alluxio + Intel Optane持久内存

Alluxio和Intel的联合PMem层解决方案使得公司能够将本地仓库和云数据仓库统一到一个基于云的数据层中，提高了数据的可访问性和弹性，同时消除了对副本的需求，从而降低了复杂性和成本，提高了速度和灵活性。新的PMem层可以加速数据访问并消除数据瓶颈。

Alluxio作为一个位于计算与存储之间的开源编排层，可以通过使数据靠近计算来帮助提高各种工作负载的性能。借助Alluxio智能多层级架构，Intel® Optane™ PMem非常适合构建基于PMem的层，从而进一步提高性能和降低成本。我们的工作表明，AlluxioPMem层在相同成本的配置下展示了比DRAM层显著的性能提升：在SoAD模式下，PMem层相比不使用缓存配置速度提升2.13倍，在4TB决策支持工作负载的情况下（parquet格式）相比DRAM层速度提升1.92倍；在Memory模式下，PMem层相比不使用缓存配置速度提升1.24倍，在4TB决策支持工作负载的情况下相比DRAM层速度提升1.12倍[DMH1]（parquet格式）。

基准与设计

Alluxio PMem层的设计

Memory模式下的旧版存储API，使用旧版存储API的应用程序不需要修改代码，这使得SoAD模式和Memory模式的PMem非常适用于Alluxio的智能多层级架构。利用Alluxio当前架构，通过在Memory模式下将其配置为内存层，在SoAD模式下将其配置为SSD层，可以轻松地在Alluxio中启用Intel®Optane™PMem。与DRAM相比，更大的容量使得Alluxio PMem层在Memory模式下可以缓存更多数据与增加更多工作负载。与SSD相比，更高的吞吐量使得Alluxio PMem层在SoAD模式下提供了更高的吞吐量。这个新的基于PMem的层为Alluxio创建了一个高性能、低成本的存储层。

Alluxio PMem层的性能

为了评估PMem层的性能，我们在一个由两个计算节点和三个存储节点构建的五节点环境中进行了多项不同配置的测试。每个计算节点都配备了两个Intel®Xeon® gold 6240处理器，并配备了相同成本的不同DRAM和PMem，以便进行ISO成本比较。对于DRAM，使用24x 32GB内存；对于PMem，使用8x 128GB PMem。对于存储节点，每个节点都配置了11个1TB硬盘用作数据存储。Ceph被用作分离对象存储系统，通过s3a连接器连接到Hadoop环境。Hadoop 3.1.2和Spark 2.3.0部署在计算节点上。下图显示了系统的拓扑结构。

测试方法

决策支持工作负载是一种典型的工作负载，可对决策支持系统的多个方面进行建模，包括查询和数据维护。我们为测试选择了54个代表Hadoop中典型SQL查询行为的查询。测试包括三种不同的配置：不使用Alluxio、PMem上的Alluxio、DRAM上的Alluxio。PMem的测试采用SoAD模式和Memory模式。进行了多轮测试，并选择中位数结果以降低结果差异。下图为SoAD模式下Alluxio PMem层的性能表现

Alluxio PMem层（SoAD模式）相比不使用缓存配置速度提升2.13倍，在4TB决策支持工作负载的情况下（parquet格式）相比DRAM层速度提升1.92倍。

您可以在我们的白皮书中查看更多的基准信息，包括配置和结果。我们希望它对您有帮助！

使用Alluxio和Intel® Optane™持久内存加速和扩展大数据分析相关推荐

oracle ssd加速,联合评测 | Intel Optane SSD 有效加速SmartX 超融合在Oracle等场景下的系统性能...
众所周知,使用基于标准 x86 服务器平台的软件定义架构,是超融合能够全面提升用户IT架构敏捷性和易维护性的一个重要原因,相比于使用专有硬件的传统SAN存储,这种架构的一大优势就是可以在产品中快速引入 ...
ssd的smt_联合评测 | Intel Optane SSD 有效加速 SmartX 超融合在 Oracle 等场景下的系统性能...
众所周知,使用基于标准x86服务器平台的软件定义架构,是超融合能够全面提升用户IT架构敏捷性和易维护性的一个重要原因,相比于使用专有硬件的传统SAN存储,这种架构的一大优势就是可以在产品中快速引入业界 ...
持久内存（PMem）科普
持久内存(PMem)科普你说不定在不同的渠道已经听说过一些类似的让人一头雾水的技术名词,比如非易失性存储,持久内存,傲腾持久内存,甚至英文的名词 Optane SSD, Optane persis ...
持久内存BTT实现及优化（一）
Intel IOG/PRC Optane CoE Wu, Dennis (Dennis.Wu@intel.com) 一般提示及法律声明: 本主题主要涉及Linux内核BTT的优化,该优化将遵循开源的原 ...
使用持久内存开发工具包 (PMDK) 创建持久内存感知队列
<使用持久内存开发工具包 (PMDK) 创建持久内存感知队列> 目录简介 libpmemobj 中的 C++ 支持 libpmemobj 核心概念使用 C++ 绑定实施队列设计决策 ...
英特尔®傲腾™持久内存+MemVerge软硬结合发挥极致性能
IDC曾发出预测,预计到2025年,全球数据量将达到175ZB,当数据量加速增长,当企业对数据价值挖掘的需求越来越高,人们对于存储和计算效率也提出了更高要求,当有越来越多的数据无法被利用,越来越多的技 ...
Intel Optane DC Persistent Memory Module (PMM)持久内存
英特尔已经公开讨论了一年多的Optane DC Persistent Memory Module(PMM),体现了一种新的以数据为中心的体系结构,在这个体系结构中,PMM位于DRAM和Optane D ...
读Intel Optane DC持久内存模块的基本性能测量有感
读Intel Optane DC持久内存模块的基本性能测量有感导论为什么为写这篇博文呢,主要是受现在工业界一种真实的NVM产品即Intel optane DC PMM今年4月份发布以来,学术界和工 ...
oracle ssd加速,评测 | Intel Optane SSD 加速 SmartX 超融合在 Oracle 等场景下的系统性能...
近期,SmartX 和 Intel 中国基于 Intel 第二代至强可扩展处理器平台与 Optane SSD 结合 SmartX 超融合软件 SMTX OS 进行了产品联合验证,并在 Oracle 等 ...

使用Alluxio和Intel® Optane™持久内存加速和扩展大数据分析