1简介

SmartTier动态分级存储特性提供智能化数据存储管理的功能，通过统计和分析数据的活跃度，将不同活跃度的数据和不同特点的存储介质动态匹配，提高存储系统性能并降低用户成本。应用SmartTier特性不会中断现有业务，不会影响数据读写。SmartTier SmartTier通过数据迁移将活跃度高的繁忙数据迁移至具有更高性能的存储介质（如SSD硬盘），将活跃度低的空闲数据迁移至具有更高容量且更低容量成本的存储介质（如NL-SAS硬盘）。

目前仅有LUN支持SmartTier特性，且由单一类型硬盘组成的存储池无法应用SmartTier进行智能化数据存储管理。

2 相关概念

• 存储层

存储层是指同一存储池中相同性能的存储介质集合，SmartTier将不同存储介质按性能高低划分为三个存储层，由高至低分别是高性能层（SSD硬盘）、性能层（SAS硬盘）和容量层（NL-SAS硬盘）。每个存储层分别使用相同的硬盘类型和RAID策略。

• 数据迁移粒度

SmartTier将LUN数据按照一定粒度划分，该粒度被称为“数据迁移粒度”或“数据块”。数据迁移粒度在创建存储池时设置，且设置后不可更改。

• 初始容量分配

数据首次写入时，数据被分配到的存储层。

• SmartTier策略

数据迁移的方向，包括向高性能层迁移、向低性能层迁移、自动迁移和不迁移四种。

• 数据迁移计划

数据迁移的方式，包括手动和定时两种方式，定时模式下数据迁移任务会在预先设置的时间段内自动进行。不论使用手动方式或定时方式，数据迁移时间段内（例如数据迁移时间为凌晨01:00～05:00，持续4个小时）SmartTier可能发生下一次的每一小时一次的数据排布分析（例如凌晨02:00），且此时SmartTier根据上一次数据排布分析结果（凌晨01:00）正在进行的数据迁移未全部完成，该下一次数据排布分析会将未完成迁移的数据块与其他数据块一起重新排名，SmartTier将根据该最新排名继续进行数据迁移。

3 SmartTier实现过程

当存储池中存在两种或以上的硬盘类型时，用户可以应用SmartTier特性充分利用存储池中的每个存储层。数据迁移过程中，存储池以数据块为单位识别数据活跃度并将整个数据块迁移至其他存储层。

存储系统经历I/O监控、数据排布分析、数据迁移三个阶段实现SmartTier。

• I/O监控阶段由存储系统的I/O监控模块完成。

存储系统根据两个数据块的活跃度来判断一个数据块比另一个更热或更冷。每个数据块的活跃度通过统计数据块的读写访问频率和I/O比例得出。存储系统提供数据块活跃度的加权累计值。作为实时监控任务，所有数据块都会被持续统计。

• 数据排布分析阶段由存储系统的数据排布分析模块完成。

数据排布分析阶段以I/O监控模块生成的每个数据块的统计信息作为输入，根据存储池中各个存储层的容量，系统按照数据块的热度确定出每个存储层放置数据块的I/O计数阈值（确定阈值时，按照热度最高的数据块放在最高性能层级的原则进行）。对大于阈值的数据块进行排序，选出最热数据块优先进行迁移。数据排布分析会对存储池中的每个数据块排名，排名由高至低，从同一个存储池中的最热数据块开始，直到最冷数据块（排名仅在同一个存储池中进行）。SmartTier在数据迁移之前根据最近一次数据排布分析结果决定数据块的迁移方向。

• 数据迁移阶段由存储系统的数据迁移模块完成。

SmartTier根据数据排布分析阶段对数据块的排名结果和数据迁移策略实施数据迁移，将排名高的数据块迁移至较高存储层（通常是高性能层或性能层），将排名低的数据块迁移至较低存储层（通常是性能层或容量层）。

新数据写入LUN时，存储系统根据初始容量分配策略，将新写入的数据分配在相应存储层。随着数据生命周期的推移，数据的活跃度会发生变化。SmartTier将不同活跃度的数据迁移至不同性能的存储层，为存储系统提供更高的性能，并且数据迁移过程不会影响其他新数据的写入。

初始容量分配

存储系统根据初始容量分配策略，将新写入的数据分配在相应存储层。例如，初始容量分配策略为优先从性能层分配，则存储系统将新写入的数据都分配在性能层，例如上图中的A1～A6。

初始容量分配策略包括四类：自动分配、优先从高性能层分配、优先从性能层分配、优先从容量层分配。如果策略为自动分配，则存储系统依次按照性能层、容量层、高性能层将新写入数据分配在存储池中。

• 数据迁移

随着数据生命周期的推移，A1～A6的活跃度会发生变化。存储系统提供数据块活跃度的加权累积值，对每个数据块的活跃度进行排名，根据排名结果和数据迁移策略实施迁移。例如，上图中活跃度高的A1、A2被向上迁移至高性能层，活跃度低的A5、A6被向下迁移至容量层，此时A1、A2、A5已完成迁移，A6还在迁移过程中。

• 新数据写入

正在进行的数据迁移不会影响新数据的写入。例如，上图中新写入的数据A7～A10，仍按照优先从性能层分配的初始容量分配策略被分配至性能层，此时，A6也已完成迁移至容量层。

• 连续运行

随着数据生命周期的推移，A1～A10的活跃度持续发生变化，同时新写入的数据A11～A14被分配至性能层。存储系统持续对A1～A14进行智能化数据存放管理。

[转自]：https://forum.huawei.com/enterprise/zh/thread-310051.html

动态分级存储特性-SmartTier相关推荐

存储知识：数据一致性、分级存储、分层存储与信息生命周期管理
一.概述数据一致性是指关联数据之间的逻辑关系是否正确和完整.问题可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致.比如一个事务操作,实际发出了五个写操作,当系统把前面三个写操 ...
Mongodb存储特性与内部原理
前言本文重点叙述下mongodb存储特性和内部原理, 下一篇文章咱们一起来搭建下Replica Sets+Sharded Cluster的集群存储引擎 wiredTiger引擎 1.3.0新增引擎 ...
内部存储_Mongodb存储特性与内部原理
前言本文重点叙述下mongodb存储特性和内部原理, 下一篇文章咱们一起来搭建下Replica Sets+Sharded Cluster的集群存储引擎 wiredTiger引擎 1.3.0新增引擎 ...
基于半衰期的分级存储
前言随着大数据时代的到来,数据量的膨胀式发展,对数仓建设提出的新的挑战和要求,为了实现资源的合理化配置和利用,提高资源使用率,通过半衰期的分级存储,应用于数仓建设,可以在一定程度上解决资源配置不合理 ...
openGauss数据库共享存储特性简介
openGauss 3.1.1是openGauss 5.0.0 release版本的Preview版本,希望广大社区伙伴和开发者基于此版本进行场景化验证,提前发现问题并反馈社区,社区将在LTS版本发布 ...
计算机分级存储的特,一种分级存储的方法、系统、设备及介质技术方案
[技术实现步骤摘要] 一种分级存储的方法.系统.设备及介质本专利技术涉及存储领域,更具体地,特别是指一种分级存储的方法.系统.计算机设备及可读介质. 技术介绍分布式对象存储系统是由多台对象存储服务 ...
AKS使用Azure File实现动态持久化存储
本文作者|搪瓷小娃娃本文来源|搪瓷小娃娃博客园如我们所知,Kubernetes通过 Volume 为集群中的容器提供存储,通过Persistent Volume 和 Persistent Volu ...
阿里云HBase发布冷存储特性，助你不改代码，1/3成本轻松搞定冷数据处理
9月27日,阿里云HBase发布了冷存储特性.用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间,并通过建表语句指定将冷数据存放在冷存储介质上面,从而降低存储成本.冷存储的存储成本仅为高 ...
kubernetes 实战使用 nfs 作为动态 storageClass 存储
kubernetes 实战使用 nfs 作为动态 storageClass 存储概述之前有介绍过 Kubernetes 实战 pv and pvc, 相信使用过的pv和pvc的同学或者有过虚拟化 ...
动态css语言less,less让css具有动态语言的特性
Less 是一种样式语言,它将 css 赋予了动态语言的特性,如变量. 继承. 运算. 函数.less 既可以在客户端上运行(支持IE 6+, Webkit, Firefox),也可以借助 Node. ...

动态分级存储特性-SmartTier

1简介

2 相关概念

3 SmartTier实现过程

动态分级存储特性-SmartTier相关推荐

最新文章

热门文章