转自http://blog.itpub.net/29065182/viewspace-1070553/

ASM磁盘组冗余的三种类型：external、normal、high,这里恢复的是normal状态,模拟OCR磁盘或votedisk不可用 时，RAC会出现什么现象？给出故障定位的整个过程。在11.2.0.3中表决盘是放到了ocr中，所以 OCR磁盘或votedisk 不可用的两个实验一起做。在11.2.0.3中可
ASM磁盘组冗余的三种类型：external、normal、high,这里恢复的是normal状态,模拟OCR磁盘或votedisk不可用 时，RAC会出现什么现象？给出故障定位的整个过程。在11.2.0.3中表决盘是放到了ocr中，所以OCR磁盘或votedisk不可用的两个实验一 起做。在11.2.0.3中可以手动备份OCR，但手动备份是无效的。

ocrconfig -export /u01/ocr.exp检查OCR有哪些备份：

[root@rac1 ~]# ocrconfig -showbackup
rac1     2013/07/22 05:39:51     /u01/grid/crs/cdata/rac/backup00.ocr
rac1     2013/07/22 01:39:51     /u01/grid/crs/cdata/rac/backup01.ocr
rac1     2013/07/21 21:39:50     /u01/grid/crs/cdata/rac/backup02.ocr
rac2     2013/07/21 01:52:54     /u01/grid/crs/cdata/rac/day.ocr
rac2     2013/07/09 01:52:25     /u01/grid/crs/cdata/rac/week.ocr
PROT-25: Manual backups for the Oracle Cluster Registry are not available注意：orcle明确给出了手动备份是无效的！

查看表决盘信息：

[root@rac1 ~]# crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   745716af7e5b4faebfc8d948d096aa55 (/dev/oracleasm/disks/OCR_VOT1) [OCR_VOT]
 2. ONLINE   7092079f66c04f9dbf65974d0dcc611a (/dev/oracleasm/disks/OCR_VOT2) [OCR_VOT]
 3. ONLINE   6510631353284f5fbf3d4c8839822dbd (/dev/oracleasm/disks/OCR_VOT3) [OCR_VOT]
Located 3 voting disk(s).
 
#停库：
[root@rac1 ~]# srvctl stop database -d orcl -o immediate
#停集群：
[root@rac1 ~]# crsctl stop cluster -all -f
 
#破坏OCR和VOT：
[root@rac1 ~]# dd if=/dev/zero f=/dev/mapper/mpathap1 bs=1024K count=1
记录了1+0 的读入
记录了1+0 的写出
1048576字节(1.0 MB)已复制，0.0160613 秒，65.3 MB/秒
[root@rac1 ~]# dd if=/dev/zero f=/dev/mapper/mpathap2 bs=1024K count=1
记录了1+0 的读入
记录了1+0 的写出
1048576字节(1.0 MB)已复制，0.00800275 秒，131 MB/秒
[root@rac1 ~]# dd if=/dev/zero f=/dev/mapper/mpathap3 bs=1024K count=1
记录了1+0 的读入
记录了1+0 的写出
1048576字节(1.0 MB)已复制，0.00927389 秒，113 MB/秒注意：破坏后，各节点服务一切正常：

[root@rac1 ~]# crs_stat -t
Name           Type           Target    State     Host       
------------------------------------------------------------
ora.DATA.dg    ora....up.type ONLINE    ONLINE    rac1    
ora.FRA.dg     ora....up.type ONLINE    ONLINE    rac1    
ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1    
ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1    
ora.OCR_VOT.dg ora....up.type ONLINE    ONLINE    rac1    
ora.asm        ora.asm.type   ONLINE    ONLINE    rac1    
ora.orcl.db   ora....se.type  ONLINE    ONLINE    rac1          
ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1    
ora....SM1.asm application    ONLINE    ONLINE    rac1    
ora....C1.lsnr application    ONLINE    ONLINE    rac1    
ora....ac1.gsd application    OFFLINE   OFFLINE              
ora....ac1.ons application    ONLINE    ONLINE    rac1    
ora....ac1.vip ora....t1.type ONLINE    ONLINE    rac1    
ora....SM2.asm application    ONLINE    ONLINE    rac2    
ora....C2.lsnr application    ONLINE    ONLINE    rac2    
ora....ac2.gsd application    OFFLINE   OFFLINE              
ora....ac2.ons application    ONLINE    ONLINE    rac2    
ora....ac2.vip ora....t1.type ONLINE    ONLINE    rac2    
ora.gsd        ora.gsd.type   OFFLINE   OFFLINE              
ora....network ora....rk.type ONLINE    ONLINE    rac1    
ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1    
ora.ons        ora.ons.type   ONLINE    ONLINE    rac1    
ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1    
ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1所有节点重启操作系统后集群服务启不来了：

[root@rac1 ~]# reboot如果只是停止集群服务，后面的重新创建ASM磁盘组会失败，但重启操作系统后，就可以创建成功。

检查CRS：

[grid@rac1 ~]$ crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager启动集群服务：

[root@rac1 ~]# crsctl start cluster -all 
CRS-2672: 尝试启动 'ora.cssdmonitor' (在 'rac1' 上)
CRS-2672: 尝试启动 'ora.cssdmonitor' (在 'rac2' 上)
CRS-2676: 成功启动 'ora.cssdmonitor' (在 'rac1' 上)
CRS-2676: 成功启动 'ora.cssdmonitor' (在 'rac2' 上)
CRS-2672: 尝试启动 'ora.cssd' (在 'rac1' 上)
CRS-2672: 尝试启动 'ora.diskmon' (在 'rac1' 上)
CRS-2672: 尝试启动 'ora.cssd' (在 'rac2' 上)
CRS-2672: 尝试启动 'ora.diskmon' (在 'rac2' 上)
CRS-2676: 成功启动 'ora.diskmon' (在 'rac1' 上)
CRS-2676: 成功启动 'ora.diskmon' (在 'rac2' 上)   
# 直停在这里其他终端使用其他命令启动集群服务：

[root@rac1 ~]# crsctl start crs
CRS-4640: Oracle High Availability Services is already active
CRS-4000: Command Start failed, or completed with errors.操作系统及crs日志中没看到特别有用的信息：

[root@rac1 ~]# vi /var/log/messages
[grid@rac1 ~]# vi $ORACLE_HOME/log/rac1/crsd/crsd.logocss日志中提示：

vi $ORACLE_HOME/log/rac1/cssd/ocssd.log
2013-07-21 21:15:08.550: [    CSSD][1095031104]clssnmvFindInitialConfigs: No voting files found发现部分ASM磁盘没有了：

[root@rac1 ~]# /etc/init.d/oracleasm scandisks
Scanning the system for Oracle ASMLib disks:               [  OK  ]
[root@rac1 ~]# /etc/init.d/oracleasm listdisks
DATA
FRA依照RAC安装文档重建ASM磁盘：

[root@rac1 ~]# /etc/init.d/oracleasm createdisk OCR_VOT1 /dev/mapper/mpathap1
Marking disk "OCR_VOT1" as an ASM disk:                    [  OK  ]
[root@rac1 ~]# /etc/init.d/oracleasm createdisk OCR_VOT2 /dev/mapper/mpathap2
Marking disk "OCR_VOT2" as an ASM disk:                    [  OK  ]
[root@rac1 ~]# /etc/init.d/oracleasm createdisk OCR_VOT3 /dev/mapper/mpathap3
Marking disk "OCR_VOT3" as an ASM disk:                    [  OK  ]停掉集群服务：
要加-f，否则可能停止非常慢

[root@rac1 ~]# crsctl stop crs -f
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'rac1'
CRS-2673: Attempting to stop 'ora.mdnsd' on 'rac1'
CRS-2673: Attempting to stop 'ora.crf' on 'rac1'
CRS-2677: Stop of 'ora.mdnsd' on 'rac1' succeeded
CRS-2677: Stop of 'ora.crf' on 'rac1' succeeded
CRS-2673: Attempting to stop 'ora.gipcd' on 'rac1'
CRS-2677: Stop of 'ora.gipcd' on 'rac1' succeeded
CRS-2673: Attempting to stop 'ora.gpnpd' on 'rac1'
CRS-2677: Stop of 'ora.gpnpd' on 'rac1' succeeded
CRS-2793: Shutdown of Oracle High Availability Services-managed resources on 'rac1' has completed
CRS-4133: Oracle High Availability Services has been stopped.以-excl -nocrs 方式启动集群，这将启动ASM实例 但不启动CRS

[root@rac1 ~]# crsctl start crs -excl -nocrs
CRS-4123: Oracle High Availability Services has been started.
CRS-2672: Attempting to start 'ora.mdnsd' on 'rac1'
CRS-2676: Start of 'ora.mdnsd' on 'rac1' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'rac1'
CRS-2676: Start of 'ora.gpnpd' on 'rac1' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'rac1'
CRS-2672: Attempting to start 'ora.gipcd' on 'rac1'
CRS-2676: Start of 'ora.cssdmonitor' on 'rac1' succeeded
CRS-2676: Start of 'ora.gipcd' on 'rac1' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'rac1'
CRS-2672: Attempting to start 'ora.diskmon' on 'rac1'
CRS-2676: Start of 'ora.diskmon' on 'rac1' succeeded
CRS-2676: Start of 'ora.cssd' on 'rac1' succeeded
CRS-2672: Attempting to start 'ora.drivers.acfs' on 'rac1'
CRS-2679: Attempting to clean 'ora.cluster_interconnect.haip' on 'rac1'
CRS-2672: Attempting to start 'ora.ctssd' on 'rac1'
CRS-2681: Clean of 'ora.cluster_interconnect.haip' on 'rac1' succeeded
CRS-2672: Attempting to start 'ora.cluster_interconnect.haip' on 'rac1'
CRS-2676: Start of 'ora.drivers.acfs' on 'rac1' succeeded
CRS-2676: Start of 'ora.ctssd' on 'rac1' succeeded
CRS-2676: Start of 'ora.cluster_interconnect.haip' on 'rac1' succeeded
CRS-2672: Attempting to start 'ora.asm' on 'rac1'
CRS-2676: Start of 'ora.asm' on 'rac1' succeeded此时crs仍然报错：

[root@rac1 ~]# crs_stat -t
CRS-0184: Cannot communicate with the CRS daemon.
 
[root@rac1 ~]# crsctl check crs             
CRS-4638: Oracle High Availability Services is online
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager重建原ocr和votedisk所在磁盘组：
注意：这里是在grid用户下

SQL> col path for a50
SQL> set lines 300
SQL> select path,header_status from v$asm_disk;
SQL> create diskgroup OCR_VOT normal redundancy disk '/dev/oracleasm/disks/OCR_VOT1','/dev/
oracleasm/disks/OCR_VOT2','/dev/oracleasm/disks/OCR_VOT3'
attribute 'compatible.rdbms' = '11.2','compatible.asm' = '11.2';ASM磁盘组冗余的三种类型：external、normal、high，我这里之前用的是normal。

从ocr backup中恢复OCR：
在每个节点grid用户下：

cd $ORACLE_HOME/cdata/rac
ocrconfig -restore /u01/grid/crs/cdata/rac/backup00.ocr恢复表决盘的准备工作：

show parameter asm_diskstring如果asm_diskstring没有值，表示ASM磁盘用的是默认ASM磁盘搜索路径。
修改成实际的ASM磁盘搜索路径：

alter system set asm_diskstring='/dev/oracleasm/disks/*';恢复表决盘：

[root@rac1 ~]# crsctl replace votedisk  +OCR_VOT
Successful addition of voting disk 4ad2b9cc0a754fffbf1515281199a78f.
Successful addition of voting disk 9f8dc1c013df4f39bfd85c64051a0bc1.
Successful addition of voting disk a4aea7a1aa434fb3bff161f6ea8ce102.
Successfully replaced voting disk group with +OCR_VOT.
CRS-4266: Voting file(s) successfully replacedocr和vot恢复后，crs等服务就会自动起来了。

[root@rac1 ~]# crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4529: Cluster Synchronization Services is online
CRS-4534: Cannot communicate with Event Manager
 
[root@rac1 ~]# crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   4ad2b9cc0a754fffbf1515281199a78f (/dev/oracleasm/disks/OCR_VOT1) [OCR_VOT]
 2. ONLINE   9f8dc1c013df4f39bfd85c64051a0bc1 (/dev/oracleasm/disks/OCR_VOT2) [OCR_VOT]
 3. ONLINE   a4aea7a1aa434fb3bff161f6ea8ce102 (/dev/oracleasm/disks/OCR_VOT3) [OCR_VOT]
Located 3 voting disk(s).重启集群服务，检查是否已经恢复正常：

[root@rac1 ~]# crsctl stop crs
[root@rac1 ~]# crsctl start crs
CRS-4123: Oracle High Availability Services has been started.其他节点也可以启动了：

[root@rac2 ~]# crsctl start crs等一会儿，检查服务已经起来了：

[root@rac1 ~]# crs_stat -t
Name           Type           Target    State     Host       
------------------------------------------------------------
ora.DATA.dg    ora....up.type ONLINE    ONLINE    rac1    
ora.FRA.dg     ora....up.type ONLINE    ONLINE    rac1    
ora....ER.lsnr ora....er.type ONLINE    ONLINE    rac1    
ora....N1.lsnr ora....er.type ONLINE    ONLINE    rac1    
ora.OCR_VOT.dg ora....up.type ONLINE    ONLINE    rac1    
ora.asm        ora.asm.type   ONLINE    ONLINE    rac1    
ora.orcl.db   ora....se.type  ONLINE    ONLINE    rac1          
ora.cvu        ora.cvu.type   ONLINE    ONLINE    rac1    
ora....SM1.asm application    ONLINE    ONLINE    rac1    
ora....C1.lsnr application    ONLINE    ONLINE    rac1    
ora....ac1.gsd application    OFFLINE   OFFLINE              
ora....ac1.ons application    ONLINE    ONLINE    rac1    
ora....ac1.vip ora....t1.type ONLINE    ONLINE    rac1    
ora....SM2.asm application    ONLINE    ONLINE    rac2    
ora....C2.lsnr application    ONLINE    ONLINE    rac2    
ora....ac2.gsd application    OFFLINE   OFFLINE              
ora....ac2.ons application    ONLINE    ONLINE    rac2    
ora....ac2.vip ora....t1.type ONLINE    ONLINE    rac2    
ora.gsd        ora.gsd.type   OFFLINE   OFFLINE              
ora....network ora....rk.type ONLINE    ONLINE    rac1    
ora.oc4j       ora.oc4j.type  ONLINE    ONLINE    rac1    
ora.ons        ora.ons.type   ONLINE    ONLINE    rac1    
ora....ry.acfs ora....fs.type ONLINE    ONLINE    rac1    
ora.scan1.vip  ora....ip.type ONLINE    ONLINE    rac1到这里为止，OCR和

转载于:https://blog.51cto.com/summervast/1436867

Oracle 11gR2 RAC OCR和votingdisk故障恢复案例相关推荐

  1. Oracle 10g RAC OCR 和 VotingDisk 的备份与恢复

    Oracle RAC 中OCR 和Voting Disk 备份在我的blog: Oracle RAC 常用维护工具和命令 中已经有说明,现在再次把它单独拿出做一个说明, 因为OCR 和Voting D ...

  2. Oracle 11gR2 RAC恢复OCR和VOTE DISK

    Oracle 11gR2 RAC恢复OCR和VOTE DISK 原文链接: http://www.askmaclean.com/archives/11-2-lost-ocr-votedisk-grou ...

  3. oracle 11g votedisk,Oracle 11gR2 RAC恢复OCR和VOTE DISK

    Oracle 11gR2 RAC恢复OCR和VOTE DISK 原文链接: http://www.askmaclean.com/archives/11-2-lost-ocr-votedisk-grou ...

  4. 【RAC】Oracle 11gR2 RAC 中的 Grid Plug and Play(GPnP) 是什么？

    [RAC]Oracle 11gR2 RAC 中的 Grid Plug and Play(GPnP) 是什么? 一. 什么是GPnP? Grid Plug and Play (GPnP):Foundat ...

  5. Oracle Study之--Oracle 11g RAC设置归档路径错误案例

    Oracle Study之--Oracle 11g RAC置归档路径错误案例 系统环境: 操作系统: RedHat EL55 集群:     Oracle 11g GI Oracle:   Oracl ...

  6. Openfiler + Redhat 5.4 Oracle 11gR2 RAC 安装文档

    Oracle 11gR2 RAC 的安装. 这个实验采用的架构: 虚拟机VMServer 2.0 + REDHAT 5.4 +Oracle 11gR2+openfiler存储 + DNS server ...

  7. Linux平台 Oracle 11gR2 RAC安装Part1：准备工作

    一.实施前期准备工作 1.1 服务器安装操作系统 1.2 Oracle安装介质 1.3 共享存储规划 1.4 网络规范分配 二.安装前期准备工作 2.1 各节点系统时间校对 2.2 各节点关闭防火墙和 ...

  8. 一步一步搭建 oracle 11gR2 rac+dg之grid安装(四)

    一步一步在RHEL6.5+VMware Workstation 10上搭建 oracle 11gR2 rac + dg 之grid安装 (四) 本章目录结构: 这一步也比较重要,主要是安装ASM,如果 ...

  9. 1.5小时，一键部署Oracle 11GR2 RAC 集群

    无人值守安装Oracle 11GR2 RAC集群,只需要1.5小时?没错,通过脚本静默安装,只需要1.5小时,包括安装补丁,建库. 脚本下载链接:SHELL脚本进行oracle数据库一键安装,实现真正 ...

最新文章

  1. On/Off FlipSwitch 按钮
  2. SubVersion(SVN) 服务器Windows安装指南
  3. SQL_server 的基本操作
  4. boost::log模块实现从设置文件初始化库的示例
  5. 从技术角度聊聊，短视频为何让人停不下来？
  6. 巧用PHP中__get()魔术方法
  7. 看不见的战斗——阿里云护航世界杯直播容灾实践
  8. 如何将xml的String字符串转化标准格式的String字符串
  9. OpenJDK9 Hotspot ：Zero 解释器 - BytecodeInterpreter
  10. 北京大学生物信息学课程(5)
  11. 生物图像处理软件_细胞分割
  12. edid ddc 显示器识别
  13. 苹果手机 计算机 错误,苹果手机的计算器连1+2+3都算不对！原因太尴尬！
  14. Opengl ES系列学习--点亮世界
  15. 计算机论文有哪些方向,计算机论文研究方向有以下四类
  16. paypal的rest api接入
  17. oracle官网不同版本下载地址
  18. 互联网晚报 | 12月25日 星期六 | 小米首款自研充电芯片澎湃P1官宣；抖音电商启动“冬季山货节”；全国首批“千兆城市”出炉...
  19. java实现阿里云邮箱发送邮件
  20. 华为云服务器 登录与配置 Mysql

热门文章

  1. idea如何打开pom引用依赖_IDEA使用Maven管理项目包，缺少pom文件中引入的依赖包...
  2. centos网络隔一段时间就断_潮汕青年说 | 瞎吃小哥：隔着屏幕也要把你看馋的顶配版吃货...
  3. mysql dnslog_渗透技巧:使用dnslog加快盲注速度 · C1imber’s Blog
  4. 不使用自动注解方式来生成mapper，采用原生方式来生成mapper
  5. java 面向对象 重载_Java方法重载
  6. Tree树结构java实现
  7. Oracle索引扫描方式
  8. Install Oracle on RHEL5 - step by step
  9. java面经_作为Java后台，这些都不会的话，就别去面试了
  10. oracle表结构迁移麻不麻烦_干货分享 | 手把手教你get数据库迁移的正确姿势