最近公司在搞个运营平台，使用了比较新的环境，项目差不多了，于是决定抽出时间来把过程经历和大家分享下，有需要的朋友可以借鉴借鉴。

硬件环境：IBM Blade Center H 、HS22、DS5020

系统平台：Centos 6.0

运营环境：RHCS +GFS2

这次项目的运营平台的需求集成了多个应用，共同的目的就是都能够访问共享存储，各节点能之间能都通过FC通道读取和存取文件。

管理口地址：

IBM Blade Center H ：192.168.70.125  /USERID/PASSW0RD

Fibre Channel Sm（BRCD）：192.168.70.129  /admin/password

DS5020：192.168.128.101/192.168.128.102 #直接使用 DS STORAGE MANAGER 10 进行管理。

存储上需要进行的操作：创建RAID，初始化RAID，划分lun，主机与盘柜之间mapping

刀片访问控制需要java运行环境，安装完成访问的界面截图：

安装java后控制的截图

其他的操作就是和在本地操作区别就不是很大了；另需要注意的是在远程设备支持本地iso安装系统和刀箱dvd读取；在刀箱本地安装的时候刀片之间进行切换每个刀片分别有kvm切换按钮包括（显示器和键盘鼠标光驱）

盘柜配置界面

3.物理设备视图

4.创建映射（定义组、主机，创建映射）

5.添加mapp主机步骤

6.制定主机操作系统类型

7.主机映射完成

有几台节点需要访问共享存储可定义具有访问权限的主机。

刀箱光纤交换机：

BRCD （刀片光纤交换配置）

#这次项目中就遇到了BRCD的问题，刀箱配置的光纤交换机模块是8GB速率，盘柜也是8GB速率、刀片标配的也是8GB的HBA，但是在刀片与光纤交换机自动协商始终不能协调成8GB速率。

就涉及到光纤交换机的配置和故障诊断了。

登录方式：http://192.168.70.129（默认）

上面贴图就是遇到的问题，在按照IBM工程师提供方法进行调试de 情况。

###

配置RHCS

软件环境：

Installed Groups:

Base

Chinese Support

Console internet tools

Debugging Tools

Desktop

Desktop Debugging and Performance Tools

Fonts

General Purpose Desktop

Georgian Support

Graphical Administration Tools

Hardware monitoring utilities

Hebrew Support

High Availability

High Availability Management

Inuktitut Support

Java Platform

Korean Support

Lao Support

Large Systems Performance

Legacy UNIX compatibility

Legacy X Window System compatibility

NFS file server

Network Infrastructure Server

Network file system client

Networking Tools

Optional packages

Performance Tools

Perl Support

Remote Desktop Clients

Resilient Storage

Scientific support

Server Platform

Storage Availability Tools

System Management

X Window System

Available Groups:

Backup Client

Backup Server

Basque Support

Belarusian Support

Bengali Support

Bhutanese Support

Brazilian Portuguese Support

Breton Support

Bulgarian Support

CIFS file server

Catalan Support

Chhattisgarhi Support

Chichewa Support

Compatibility libraries

Desktop Platform

Desktop Platform Development

Development tools

Directory Server

Dutch Support

Eclipse

Emacs

FTP server

Graphics Creation Tools

Internet Applications

Internet Browser

Irish Support

KDE Desktop

Load Balancer

Mainframe Access

Mongolian Support

MySQL Database client

MySQL Database server

Myanmar (Burmese) Support

Nepali Support

Network Storage Server

Northern Sotho Support

Norwegian Support

Occitan Support

Office Suite and Productivity

Oriya Support

PHP Support

Persian Support

Polish Support

Portuguese Support

PostgreSQL Database client

PostgreSQL Database server

Print Server

Printing client

Scalable Filesystems

Security Tools

Serbian Support

Server Platform Development

System administration tools

Technical Writing

…..

Virtualization Tools

Walloon Support

Web Server

Web Servlet Engine

Web-Based Enterprise Management

Done

[root@XX7 ~]#

Yum groupinstall “X Window System” ”High Availability” “High Availability Management” “Desktop” “General purpose Desktop”

系统涉及到：mpp、划分磁盘、格式化gfs分区，挂载

IBM DS5000/4000/3000系列都是采用LSI存储结构模式提供磁盘共享，可以到

http://www.lsi.com/sep/Pages/rdac/index.aspx 下载相对应内核版本的RDAC

rdac的安装也是很简单的，上传到系统后进入src目录make； make install ；在grub中添加mpp引导的选项

查看fc通道 mppUtil –a 查看映射

Mkfs.gfs2 –p lock_dlm –t xxcluster:gfs001 –j 3 /dev/vg01/lv01

#-p 指定格式化磁盘的文件系统类型

#-t xxcluster指集群的名称，在格式化是需与cluster.conf中的集群名称一致

#-j 3 集群提供挂载的客户端数

Centos6 中默认没有了system-config-cluster 被luci 和ricci 代替，

在配置rhcs是需要在待加入集群的机器中启动luci和每台都启动ricci也就是11111端口，不然web admin时报错。

通过web配置的方法和system-config-cluster 有了不少的改变，不过大体上还是能够理解和配置的。

配置文件默认保存在/etc/cluster/cluster.conf

#注：centos6 系统的安全级别默认都已经很高，iptables和selinux安装系统时都没选项进行防火墙或selinux关闭开启。

Rhcs 配置文件：

<?xml version="1.0"?>

<cluster config_version="14" name="XXcluster">#集群的名称，GFS分区时须一致#mkfs.gfs2 -p lock_dlm -t XXcluster:GFS2 -j 3 /dev/sdb

<clusternodes>

<clusternode name="192.168.30.70" nodeid="1" votes="1">#节点信息

<fence>

<method name="BJ1">

<device name="BJblade" port="7" secure="on"/>#单节点fence,注意配置刀片的fence的插槽 ，刀片需要注意的就是port=“所在的刀箱插槽”

</method>

</fence>

</clusternode>

<clusternode name="192.168.30.80" nodeid="2" votes="1">

<fence>

<method name="BJ1">

<device name="BJblade" port="8" secure="on"/>

</method>

</fence>

</clusternode>

<clusternode name="192.168.30.100" nodeid="3" votes="1">

<fence>

<method name="BJ1">

<device name="BJblade" port="10" secure="on"/>

</method>

</fence>

</clusternode>

</clusternodes>

<cman port="6809"/>#制定cman tcp 端口方便iptables同时还要开启组播协议ICMP

<fencedevices>

<fencedevice agent="fence_bladecenter" ipaddr="192.168.30.125" login="USERID" name="BJblade" passwd="PASSW0RD"/>#刀片自带的fence设备

</fencedevices>

<rm>

<failoverdomains/>

<resources/>

</rm>

</cluster>

#切换测试

上述为基础rhcs的cluster配置，fileover 和resource都为做配置。

故障切换测试

最开始测试的时候总是不能自动切换，直接掉电一台机器，其他的节点就访问不了共享，如果手动停止服务测试正常。

实际情况是不允许共享存储访问不正常的，为了避免这种现象我们可进行以下几点测试：

1.       集群中down心跳的网口看是否正常

2.       停止cman 主服看集群共享存储是否正常

3.       直接物理掉电看查看集群节点状态和共享存储状态。

上述为项目设备使用和系统简单的配置使用说明。