遇到RAID5阵列硬盘出现问题的情况该如何解决？

【故障描述】

华为S5300，12块FC硬盘，整个存储空间由450GB和600G FC的硬盘组成，其中11块硬盘组成一个RAID5的阵列，剩余1块做成热备盘使用。由于RAID5阵列中出现1块硬盘故障，热备盘成功激活，在进行同步的过程中又一块硬盘出现故障，因此导致RAID5阵列瘫痪，上层LUN无法正常使用。

【恢复过程】

一、检测磁盘

由于存储是因为RAID阵列中某些磁盘掉线，从而导致整个存储不可用。因此接收到磁盘以后先对所有磁盘做物理检测，检测完后发现一块硬盘有物理故障，其他硬盘没有物理故障。

二、备份数据

考虑到，数据的安全性以及可还原性，在做数据恢复之前需要对所有源数据做备份，以防万一其他原因导致数据无法再次恢复。使用dd命令或winhex工具将所有磁盘都镜像成文件。

三、故障分析

1、分析故障原因

由于前两个步骤并检测到磁盘有物理故障，由此推断可能是由于某些磁盘读写不稳定和物理故障导致故障发生。因为华为S5300控制器检查磁盘的策略很严格，一旦某些磁盘性能不稳定，华为S5300控制器就认为是坏盘，就将认为是坏盘的磁盘踢出RAID组。而一旦RAID组中掉线的盘到达到RAID级别允许掉盘的极限，那么这个RAID组将变的不可用，上层基于RAID组的LUN也将变的不可用，之后又新建RAID，有一块硬盘在同步的过程中被损坏，目前初步了解的情况为基于RAID组的LUN分配给linux系统使用，重要数据为Oracle数据库。

2、分析RAID组结构

华为S5300存储的LUN都是基于RAID组的，因此需要先分析底层RAID组的信息，然后根据分析的信息重构原始的RAID组。分析每一块数据盘，发现一块盘的数据同其它数据盘不太一样，初步认为可能是hot Spare盘。接着分析其他数据盘，分析Oracle数据库页在每个磁盘中分布的情况，并根据数据分布的情况得出RAID组的条带大小，磁盘顺序及数据走向等RAID组的重要信息。

3、分析RAID组被同步损坏盘

根据上述分析的RAID信息，尝试通过北亚自主开发的RAID虚拟程序将原始的RAID组虚拟出来。但由于整个RAID组中掉线两块盘并且有一块硬盘数据被同步损坏。仔细分析每一块硬盘中的数据，发现有一块硬盘在同一个条带上的数据和其他硬盘明显不一样，因此初步判断此硬盘可能是被同步掉损坏的硬盘，通过北亚自主开发的RAID校验程序对这个条带做校验，因此可以明确被同步损坏盘了。

4、分析RAID组中的LUN信息

由于LUN是基于RAID组的，因此需要根据上述分析的信息将RAID组最新的状态虚拟出来。然后分析LUN在RAID组中的分配情况，以及LUN分配的数据块MAP。因此只需要将LUN的数据块分布MAP提取出来。然后针对这些信息编写相应的程序，LUN的数据MAP做解析，然后根据数据MAP并导出LUN的数据。

四、解析EXT3文件系统

1、解析EXT3文件系统

由于是使用热备盘虚拟的RAID结构，EXT3文件系统无法正常挂载，所以只能提取oracle数据库文件，利用自主开发的文件系统解析程序对其进行文件系统的解析，导出oracle数据库文件，并把数据库文件移交给数据库工程师进行校验和验证

五、检测Oracle数据库文件及修复

1、检测数据库文件是否完整

使用Oracle数据库文件检测工具检测每个数据库文件是否完整，发现有错误。再使用北亚自主研发的Oracle数据库检测工具（检验更严格），发现有部分数据库文件和日志文件错误， system 和 sysaux表空间各存在100多坏块；3个控制文件都存在坏块许多坏块，控制文件全部损坏；eschoolspace表空间的3个文件的坏块更多，达到1000个；undotbs02丢失；数据库工程师对此类文件进行修复，如下图：

2、修复Oracle数据库

我们创建了控制文件，创建undo表空间，启动数据库到mount。system数据文件坏块使得数据库不能open。各种隐含参数也不能绕过system的坏块；搭建数据库环境。使用dmp文件还原数据库。使用3月9号之后的导入，都报错，大约只能导入10G左右的数据，如下图：

六、数据验证

由用户方配合，启动Oracle数据库，在本地虚拟机安装OA客户端。通过OA客户端对数据记录进行验证，并且用户安排不同部门人员进行远程验证。

七、数据恢复结论

由于故障发生后又重建RAID，导致一块盘的数据被同步损坏，对后期的数据恢复造成了困难。因为热备盘同步了一段时间写入了部分数据，所以使用热备盘里面的数据进行恢复，只能恢复部分数据，只有3月9日之前的数据。

遇到RAID5阵列硬盘出现问题的情况该如何解决？相关推荐

raid5阵列两块硬盘掉线如何恢复阵列中的数据库
[raid数据恢复故障描述] 华为S5300存储,存储中以供有16块FC硬盘,整个存储空间由450GB FC的硬盘组成一个RAID5磁盘阵列(包含一块热备盘).该存储中的RAID5阵列3号硬盘由于未知 ...
【服务器数据恢复】raid5阵列2块硬盘先后离线的数据恢复案例
服务器数据恢复环境: 华为s系列服务器: 24块硬盘组成一组raid5磁盘阵列,其中包含1块热备盘. 服务器故障&检测: 服务器工作状态下raid5中有一块硬盘离线,热备盘激活替换离线硬盘并开 ...
raid5阵列2块硬盘掉线应该数据恢复还是强制上线
磁盘阵列两块硬盘离线数据恢复案例一: 客户的一台服务器因为未知的原因导致一块硬盘红灯闪亮,不过服务器还在正常运行,管理员未做处理,随后该服务器内的另一块硬盘出现同样的报警提示,服务器崩溃.数据恢复工程 ...
在window server虚拟机上搭建RAID1与RAID5阵列
首先说一下RAID1和RAID5的原理,搭建之前熟悉一下它们有什么用以及各自的优缺点是什么?为什么要用? 1.RAID1原理 RAID 1 又称为Mirror 或Mirrooring(镜像) ...
创建软RAID5阵列
centos7部署raid5阵列前言 ①实验环境系统:Linxu centos7 内存: 硬盘:20GB系统盘一块,3块5GB拓展硬盘 ②目的: 用4块硬盘在 centos 7系统中模拟软Radi ...
某品牌服务器raid5阵列删除数据恢复过程分析
[服务器raid5阵列数据恢复故障情况描述] 客户的某品牌服务器,raid5磁盘阵列数据恢复需求,服务器不存在物理故障,数据丢失的原因是误删除了服务器上的卷.可以从raid5磁盘阵列层面进行数据恢复操 ...
联想服务器RD450 配置RAID5阵列图文方法
联想RD450是一款服务器,cpu为英特尔至强处理器六核E5-2609 v3 1.9GHz,这里为大家分享一下联想服务器RD450 配置RAID5阵列图文方法,需要的朋友可以参考下实验环境: 1 ...
服务器阵列卡维修费用,IBM服务器阵列卡损坏N种情况的解决的方法.doc
IBM服务器阵列卡损坏N种情况的解决的方法 IBM服务器更换阵列卡的方法关于IBM 服务器更换阵列卡的方法随着时间的推移,越来越多的IBM服务器陆续过保了,许多的蓝色快车服务站也开始维修过保的服务器 ...
联想服务器X3850 X6 配置RAID5阵列的图文方法
这篇文章主要介绍了联想服务器X3850 X6 配置RAID5阵列图文方法,需要的朋友可以参考下环境: 1. 服务器型号联想 System X3850 X6 2. 四块300G SAS硬盘目的: ...
群晖服务器216j增加硬盘,群晖NAS提速大法：解决机械硬盘频繁同时读写的问题，有效提升硬盘寿命...
群晖NAS提速大法:解决机械硬盘频繁同时读写的问题,有效提升硬盘寿命 2020-12-07 18:13:01 27点赞 200收藏 29评论创作立场声明:解决NAS机械硬盘频繁读写的小技巧,希望能帮 ...

遇到RAID5阵列硬盘出现问题的情况该如何解决？

遇到RAID5阵列硬盘出现问题的情况该如何解决？相关推荐

最新文章

热门文章