HP EVA系列存储raid结构原理研究

【引言】
本文档建立在针对HP EVA的大量测试性研究基础上，所有的细节几乎均为对EVA的破译型研究，目前全球范围内尚未发现类似资料，故可能表述方式和结论并不精确，仅为参考之用。
我公司为研究HP EVA系列算法，花费了大量的人力物力，目前应为全国唯一的研究此项技术的公司，转载请注明来源。

【前因】
HP EVA4400/6400/8400因接近退役，已进入高故障区间，用户往往会认为花费几十万甚至上百万购买的eva系列应该是非常稳定的，但实际上无论多么昂贵的存储设备，使用的磁盘是相同或相似的。正如eva上销量极大的部件号为454414-001的1T FATA磁盘，其实就是臭名昭彰的某牌7200.11 系列的FC版，虽然前者正品售价仍高达近4K，后者却不足400，但两者的性能和稳定性表现几乎是相同的。这些1T FATA磁盘在经历2-3年的运行后，总会出现大批量的损坏，而且往往一旦损坏，几乎很难修复。一个我遇到的最夸张的案例，108块1T FATA的EVA6400，在半年内先后损坏50多块，这是让人惊讶的，实则也是正常的(缘于该品牌这款产品的设计缺陷)。
即便是使用15000rpm或10000rpm的FC磁盘，其实盘体也等同于希捷、日立等厂商的SAS磁盘(目前的EVA系列磁盘已经全部基于SAS了，即使是FC，也是通过转换电路实现SAS到FC的转换，如671148-001)。EVA是虚拟化的存储设备，平时数据会不断的迁移，加上应用通常较为繁重，所以磁盘的负载相对是较重的，也是很容易出现故障的。EVA是依靠大量磁盘的冗余空间，以及故障后rss冗余磁盘动态迁移来实现整个存储的数据保护，但随着越来越多的磁盘掉线，这种保护会接近临界，直至崩溃。
通过eva command view下的 fieldservice执行强制激活命令，一则会导致cache dirty、数据块结构不一致导致数据出现损坏。二则修复只能建立在绕开坏道区域的基础上，如果坏道无法绕开，也是徒劳。
另有一些情况：主机无法与扩展柜相连导致数据丢失，误删除vdisk等，也需要有切实的解决方案。
HP P6000系列控制器与EVA系列内部算法完全相同，不再单独提及。

【eva系列存储raid结构原理概述】

EVA系列存储是一款以虚拟化存储为实现目的的HP中高端存储设备，内部的结构组成完全不同于普通的基于简单RAID的存储，EVA内部称之为VRAID。包括一些资深的HP工程师，对EVA的理解其实是有误区的(也可能是HP官方的宏观描述)
EVA会对每个物理磁盘(简称为PV)进行签名(写在每个磁盘的0扇区)，签名后即分配进不同的DISK GROUP。在disk group中，类似于aix 的卷管理，或HP LVM的卷管理一样，每个PV会按一定大小划分为若干存储单元(按AIX的说法，暂且称为PP吧)，PP的大小为2的整数次幂，且应该在2-16M之间。
每个PV中有有限数量的PP，这些PP合起来形成整个DISK GROUP的可用空间。所有的PV按5-15组成若干组RSS(HP的官方资料中讲最小的RSS磁盘数量是6，最大应不到15，但对底层的分析得知，存在5和15个PV的RSS情况)，每个RSS就是一个所谓常规RAID的冗余组，但这个冗余组不等同于常规RAID，与常规RAID相似的是，常规RAID是以磁盘为单位的RAID算法，而RSS是基于PP的RAID算法。
为提高性能，HP EVA会有倾向地轮流分配不同的RSS组，但这些RSS之间的数据存储是基于JBOD的(HP官方和很多资料上称是RAID0，或许是宏观的概念)，每个RSS组成的stripe 的成员其实是不同PV中不同位置的PP。
无论RSS中成员数量有多少个，对于VRAID5，一个stripe中的PV数总是5个。对于VRAID6，一个stripe中的PV数总是6个。例如，对于VRAID5，EVA会尽可能在N个磁盘中做C(N,5)的组合情况，以期实现IO 负载均衡。
当一个RSS中某个PV离线，控制器会从同一个RSS组中其他磁盘(同一条带中已存在的PV之外)中寻找可用的PP，在逻辑上实现每个stripe的rebuild，从而保证整个存储的安全性。
当一个RSS中损坏的磁盘数量足够少时(少于等于6个)，这个RSS的安全性就非常低了，这时候，EVA会合并此RSS到另一个RSS中，这样可用的冗余空间就是共享的了，空间就可以从另一个较安全的RSS中迁移过来。
为了保证有足够的空间提供冗余保护，在创建disk group时，EVA会提供一个Protection Level的保护级别，single表示用2个磁盘的空间做冗余，double表示用4个磁盘的空间做冗余。但这个冗余不同于hotspare，这个冗余空间仅会预留到每个PV的尾部，一则，多个磁盘，IO会更均匀，更快；二则，尾部的空间通常是质量较差的空间。

【EVA系列常见故障】
1、RSS中多个磁盘掉线，超过冗余保护级别。
2、加入新磁盘，进行数据迁移时，新磁盘存在物理故障(此时无法回退，也无法前进)。
3、VDISK 删除或EVA initialize。
4、突发性主机与存储无法连接。无法discover到存储。

【数据恢复解决原理】
eva系列最核心的结构部分来自于所有vdisk的运算pp表，这个pp map表会因为磁盘的不断迁移而迁移。所有的故障均可基于此map进行恢复。
当pp map不存在时，根据不同的条带之间的冗余关系，可有优化算法对所有PP进行条带性集合，从而形成若干组正确的条带数据，再基于文件系统结构、数据结构等特征，重组若干条带。

【数据恢复解决过程】
1、原始磁盘镜像，将EVA主机一端的连线拔出，直接连入主机hba卡上，就可以认到所有物理硬盘，之后通过专业手段(Linux下的dd，windows下的winhex等)进行磁盘镜像。因eva主机与扩展柜之间多是铜线连接，故而，可能需要在扩展柜上增加光纤收发模块，再通过光链路接入fc hba卡上。当然，也可以把所有硬盘拆下来后，放入其他光纤通道柜中进行镜像。
使用EVA扩展柜进行镜像的连接图如下

2.通过frombyte recovery for hp eva程序进行vdisk重组，直接写入成镜像文件或目标物理磁盘。
3、按常规方式解释镜像文件或目标磁盘，迁移镜像或导出内部文件

HP EVA系列存储raid结构原理研究相关推荐

【服务器数据恢复】HP EVA系列存储出现故障如何恢复数据？
服务器数据恢复环境(EVA系列存储)介绍: EVA系列存储是一套"虚拟"磁盘阵列存储解决方案,其结构不同于基于RAID的普通存储,在HP公司内部被称为VRAID. EVA对每个物理 ...
V7000存储底层结构原理+V7000存储数据恢复案例
Storwize V7000(也就是我们常说的V7000)是新推出的一款中端存储系统,这款系统的定位虽然在中端,但是Storwize V7000提供有存储管理功能,这一功能以前只有高端存储才拥有(例如 ...
【服务器数据恢复】HP StorageWorks系列存储RAID5两块盘离线的数据恢复
服务器存储数据恢复环境: HP StorageWorks系列存储: VMWARE ESX虚拟主机平台,VMFS文件系统: 8块硬盘组成RAID5,1块热备盘. 服务器存储故障: 服务器在正常运行中两块 ...
EVA 4400存储数据恢复报告
EVA系列存储是一款以虚拟化存储为实现目的的HP中高端存储设备,平时数据会不断的迁移,加上任务通常较为繁重,所以磁盘的负载相对是较重的,也是很容易出现故障的.EVA是依靠大量磁盘的冗余空间,以及故障后 ...
EVA 4400存储硬盘故障导致的数据丢失应该怎么找回和恢复
EVA系列存储是一款以虚拟化存储为实现目的的HP中高端存储设备,平时数据会不断的迁移,加上任务通常较为繁重,所以磁盘的负载相对是较重的,也是很容易出现故障的.EVA是依靠大量磁盘的冗余空间,以及故障后 ...
EVA 4400存储硬盘故障导致数据丢失怎么恢复？
EVA系列存储是一款以虚拟化存储为实现目的的HP中高端存储设备,平时数据会不断的迁移,加上任务通常较为繁重,所以磁盘的负载相对是较重的,也是很容易出现故障的.EVA是依靠大量磁盘的冗余空间,以及故障后 ...
【服务器数据恢复】HP EVA存储设备多块硬盘出现故障的数据恢复案例
服务器数据恢复环境: 一台HP EVA某型号存储设备: 共23块硬盘,上层映射给一台windows系统服务器. 服务器故障情况: 存储设备有三块硬盘的指示灯变黄色,存储设备还在正常运行.管理员在更换亮 ...
HP MSA存储 raid组坏了2块硬盘的数据恢复方法
一.raid数据恢复故障描述故障描述 HP FC MSA2000存储整个存储空间由8块450GB SAS的硬盘组成,其中7块硬盘组成一个RAID5的阵列,剩余1块做成热备盘使用.由于RAID5阵列 ...
计算机内存和u盘存储原理,解剖U盘存储结构原理
原标题:解剖U盘存储结构原理 U盘的结构比较简单,主要是由USB插头.主控芯片.稳压IC(LDO).晶振.闪存(FLASH).PCB板.帖片电阻.电容.发光二极管(LED)等组成. U盘的基本工作原理 ...

HP EVA系列存储raid结构原理研究

HP EVA系列存储raid结构原理研究相关推荐

最新文章

热门文章