达梦共享存储集群DMDSC-2节点部署手册

简介

适用于密集交易型场景的共享存储集群，采用单库多实例架构，基于共享存储上的多个节点对外提供服务，实现高吞吐量；自动接管故障节点，保证系统高可用性；对标 RAC 架构，是适合金融行业核心生产系统的解决方案

主机名	public ip	private ip	实例名	端口	用途
dm180	192.168.137.180	192.168.137.180	dsc1	5236	数据库实例 dmrw1 监听端口
dm180	192.168.137.180	192.168.137.180	dsc1	9741	节点 1 DCR 检查数据库实例监听端口
dm180	192.168.137.180	192.168.137.180	dsc1	9341	节点 1 CSS 进程 TCP 连接端口
dm180	192.168.137.180	192.168.137.180	dsc1	9351	节点 1 ASM 进程 TCP 连接的端口
dm180	192.168.137.180	192.168.137.180	dsc1	7236	节点 1 ASM 的 MAL 系统 TCP 连接的端口
dm180	192.168.137.180	192.168.137.180	dsc1	9236	节点 1 数据库实例的 MAL 系统 TCP 连接的端口
dm181	192.168.137.181	192.168.137.181	dsc2	5236	数据库实例 dmrw2 监听端口
dm181	192.168.137.181	192.168.137.181	dsc2	9741	节点 2 DCR 检查数据库实例监听端口
dm181	192.168.137.181	192.168.137.181	dsc2	9341	节点 2 CSS 进程 TCP 连接端口
dm181	192.168.137.181	192.168.137.181	dsc2	9351	节点 2 ASM 进程 TCP 连接的端口
dm181	192.168.137.181	192.168.137.181	dsc2	7236	节点 2 ASM 的 MAL 系统 TCP 连接的端口
dm181	192.168.137.181	192.168.137.181	dsc2	9236	节点 2 数据库实例的 MAL 系统 TCP 连接的端口

1、裸设备共享存储配置

1.1 创建虚拟机共享磁盘

-- 切换目录

cd C:\Program Files (x86)\VMware\VMware Workstation

-- 创建虚拟机共享磁盘

vmware-vdiskmanager.exe -c -s 2000MB -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\dcrdisk.vmdk"

vmware-vdiskmanager.exe -c -s 2000Mb -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\votedisk.vmdk"

vmware-vdiskmanager.exe -c -s 4000Mb -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\redodisk.vmdk"

vmware-vdiskmanager.exe -c -s 4000Mb -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\datadisk.vmdk"

-- 修改2个虚拟机的vmx配置文件，在虚拟机的安装目录下的.vmx文件最后加上以下信息（如果发现预留磁盘错误，请更改，如scsi1:7，修改为scsi1:8）：

scsi0:1.present = "TRUE"

scsi0:1.fileName = "E:\bingo\VM_ALL\rac_sharedisk\dcrdisk.vmdk"

scsi0:1.mode = "independent-persistent"

scsi0:1.redo = ""

scsi0:2.present = "TRUE"

scsi0:2.fileName = "E:\bingo\VM_ALL\rac_sharedisk\votedisk.vmdk"

scsi0:2.mode = "independent-persistent"

scsi0:2.redo = ""

scsi0:3.present = "TRUE"

scsi0:3.fileName = "E:\bingo\VM_ALL\rac_sharedisk\redodisk.vmdk"

scsi0:3.mode = "independent-persistent"

scsi0:3.redo = ""

scsi0:4.present = "TRUE"

scsi0:4.fileName = "E:\bingo\VM_ALL\rac_sharedisk\datadisk.vmdk"

scsi0:4.mode = "independent-persistent"

scsi0:4.redo = ""

disk.EnableUUID="TRUE"

disk.locking="FALSE"

scsi0.shared="TRUE"

diskLib.dataCacheMaxSize="0"

diskLib.dataCacheMaxReadAheadSize="0"

diskLib.dataCacheMinReadAheadSize="0"

diskLib.dataCachePageSize="4096"

diskLib.maxUnsyncedWrites="0"

scsi0.sharedBus="VIRTUAL"

1.2 配置共享存储

注意：2个节点均需要执行

运行命令lsblk，确认磁盘名称

-- 切换目录

cd C:\Program Files (x86)\VMware\VMware Workstation

-- 创建虚拟机共享磁盘

vmware-vdiskmanager.exe -c -s 2000MB -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\dcrdisk.vmdk"

vmware-vdiskmanager.exe -c -s 2000Mb -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\votedisk.vmdk"

vmware-vdiskmanager.exe -c -s 4000Mb -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\redodisk.vmdk"

vmware-vdiskmanager.exe -c -s 4000Mb -a lsilogic -t 2 "E:\bingo\VM_ALL\rac_sharedisk\datadisk.vmdk"

-- 修改2个虚拟机的vmx配置文件，在虚拟机的安装目录下的.vmx文件最后加上以下信息（如果发现预留磁盘错误，请更改，如scsi1:7，修改为scsi1:8）：

scsi0:1.present = "TRUE"

scsi0:1.fileName = "E:\bingo\VM_ALL\rac_sharedisk\dcrdisk.vmdk"

scsi0:1.mode = "independent-persistent"

scsi0:1.redo = ""

scsi0:2.present = "TRUE"

scsi0:2.fileName = "E:\bingo\VM_ALL\rac_sharedisk\votedisk.vmdk"

scsi0:2.mode = "independent-persistent"

scsi0:2.redo = ""

scsi0:3.present = "TRUE"

scsi0:3.fileName = "E:\bingo\VM_ALL\rac_sharedisk\redodisk.vmdk"

scsi0:3.mode = "independent-persistent"

scsi0:3.redo = ""

scsi0:4.present = "TRUE"

scsi0:4.fileName = "E:\bingo\VM_ALL\rac_sharedisk\datadisk.vmdk"

scsi0:4.mode = "independent-persistent"

scsi0:4.redo = ""

disk.EnableUUID="TRUE"

disk.locking="FALSE"

scsi0.shared="TRUE"

diskLib.dataCacheMaxSize="0"

diskLib.dataCacheMaxReadAheadSize="0"

diskLib.dataCacheMinReadAheadSize="0"

diskLib.dataCachePageSize="4096"

diskLib.maxUnsyncedWrites="0"

scsi0.sharedBus="VIRTUAL"

1.3 udev方式绑定裸设备

执行以下命令，新建 udev 规则文件：

vi /etc/udev/rules.d/90-raw.rules

添加以下内容：

ACTION=="add",KERNEL=="sdb",RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add",KERNEL=="sdc",RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add",KERNEL=="sdd",RUN+="/bin/raw /dev/raw/raw3 %N"

ACTION=="add",KERNEL=="sde",RUN+="/bin/raw /dev/raw/raw4 %N"

KERNEL=="raw[1-4]", OWNER="dmdba", GROUP="dinstall", MODE="660"

-- 使udev配置生效

udevadm trigger --type=devices --action=change

-- 重启udev服务

systemctl restart systemd-udev-trigger.service

检查udev是否配置成功

2 安装DM8数据库

请参考资料

https://blog.csdn.net/sjj51812580/article/details/124377008

说明：如果使用静默安装，请取消数据库初始化以及启动服务等（修改配置项即可）

3、配置DMDSC

3.1 配置 DCR 初始化文件

1、创建配置文件存放目录

pssh -h /opt/list -i "mkdir -p /home/dmdba/config"

2、新建 dmdcr_cfg.ini 文件，节点 1 使用 dmdba 用户，执行以下命令

echo "DCR_N_GRP = 3

DCR_VTD_PATH = /dev/raw/raw2

DCR_OGUID = 63635

[GRP]

DCR_GRP_TYPE = CSS

DCR_GRP_NAME = CSS

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[CSS]

DCR_EP_NAME = CSS1

DCR_EP_HOST = 192.168.137.180

DCR_EP_PORT = 9341

[CSS]

DCR_EP_NAME = CSS2

DCR_EP_HOST = 192.168.137.181

DCR_EP_PORT = 9341

[GRP]

DCR_GRP_TYPE = ASM

DCR_GRP_NAME = ASM

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[ASM]

DCR_EP_NAME = ASM1

DCR_EP_SHM_KEY = 93360

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.137.180

DCR_EP_PORT = 9351

DCR_EP_ASM_LOAD_PATH = /dev/raw

[ASM]

DCR_EP_NAME = ASM2

DCR_EP_SHM_KEY = 93361

DCR_EP_SHM_SIZE = 10

DCR_EP_HOST = 192.168.137.181

DCR_EP_PORT = 9351

DCR_EP_ASM_LOAD_PATH = /dev/raw

[GRP]

DCR_GRP_TYPE = DB

DCR_GRP_NAME = DSC

DCR_GRP_N_EP = 2

DCR_GRP_DSKCHK_CNT = 60

[DSC]

DCR_EP_NAME = DSC1

DCR_EP_SEQNO = 0

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9741

[DSC]

DCR_EP_NAME = DSC2

DCR_EP_SEQNO = 1

DCR_EP_PORT = 5236

DCR_CHECK_PORT = 9741" > /home/dmdba/config/dmdcr_cfg.ini

3.2 创建 ASM 磁盘

使用 dmdba 用户，到 DM 数据库软件安装目录的 bin 目录执行以下命令（只需在一个节点执行）

/home/dmdba/dmdbms/bin/dmasmcmd SCRIPT_FILE=/home/dmdba/tmp/asm_init.txt

初始化配置文件内容（后期自动化脚本需要）：

#asm script file

create dcrdisk '/dev/raw/raw1' 'dcr'

create votedisk '/dev/raw/raw2' 'vote'

create asmdisk '/dev/raw/raw3' 'LOG0'

create asmdisk '/dev/raw/raw4' 'DATA0'

init dcrdisk '/dev/raw/raw1' from '/home/dmdba/config/dmdcr_cfg.ini' identified by '123456'

init votedisk '/dev/raw/raw2' from '/home/dmdba/config/dmdcr_cfg.ini'

3.3 配置ASM的MAL系统配置文件

2 个节点都需要配置，且文件内容相同，执行以下命令

配置文件内容

echo "[MAL_INST1]

MAL_INST_NAME = ASM1

MAL_HOST = 192.168.137.180

MAL_PORT = 7236

[MAL_INST2]

MAL_INST_NAME = ASM2

MAL_HOST = 192.168.137.181

MAL_PORT = 7236" > /home/dmdba/config/dmasvrmal.ini

复制到所有主机

pscp -h /opt/list /home/dmdba/config/dmasvrmal.ini /home/dmdba/config/dmasvrmal.ini

3.4 配置 DCR 启动配置文件

节点1配置内容：

echo "DMDCR_PATH = /dev/raw/raw1

DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径

DMDCR_SEQNO = 0

#ASM 重启参数，命令行方式启动

DMDCR_ASM_RESTART_INTERVAL =10

DMDCR_ASM_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmasmsvr dcr_ini=/home/dmdba/config/dmdcr.ini

#DB 重启参数，命令行方式启动

DMDCR_DB_RESTART_INTERVAL = 30

DMDCR_DB_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver path= /home/dmdba/config/dsc1/dm.ini dcr_ini=/home/dmdba/config/dmdcr.ini" > /home/dmdba/config/dmdcr.ini

节点2配置内容：

echo "DMDCR_PATH = /dev/raw/raw1

DMDCR_MAL_PATH =/home/dmdba/config/dmasvrmal.ini #dmasmsvr 使用的 MAL 配置文件路径

DMDCR_SEQNO = 1

#ASM 重启参数，命令行方式启动

DMDCR_ASM_RESTART_INTERVAL =10

DMDCR_ASM_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmasmsvr dcr_ini=/home/dmdba/config/dmdcr.ini

#DB 重启参数，命令行方式启动

DMDCR_DB_RESTART_INTERVAL = 30

DMDCR_DB_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver path= /home/dmdba/config/dsc2/dm.ini dcr_ini=/home/dmdba/config/dmdcr.ini" > /home/dmdba/config/dmdcr.ini

注意

两个节点的 DMDCR_SEQNO 参数不能相同要唯一，DMDCR_DB_STARTUP_CMD 中启动脚本路径和配置文件路径要配置准确。如果不配置 css 自动启动 asm 和 db 则需要配置 DMDCR_ASM_RESTART_INTERVAL 和DMDCR_DB_RESTART_INTERVAL 为 0

-- 查看配置内容

pssh -h /opt/list -i "cat /home/dmdba/config/dmdcr.ini"

4、初始化及启动集群

4.1 启动 DMCSS 服务

2 个节点启动 dmcss，dmdba 用户到数据库安装目录 bin 下执行以下命令

-- 启动服务，必须切换到bin目录，否则出现共享文件找不到的问题

pssh -h /opt/list -i --timeout 0 "cd /home/dmdba/dmdbms/bin && nohup ./dmcss dcr_ini=/home/dmdba/config/dmdcr.ini &"

-- 查看日志

tail -f /home/dmdba/dmdbms/log/dm_CSS1_202204.log

4.2 创建ASM磁盘组（磁盘服务已启动后）

./dmasmtool dcr_ini=/home/dmdba/config/dmdcr.ini

在 ASM 提示符下创建 asm 磁盘组，创建 REDO 日志磁盘组，执行以下命令：

create diskgroup 'DMLOG' asmdisk '/dev/raw/raw3'

创建数据文件磁盘组，执行以下命令：

create diskgroup 'DMDATA' asmdisk '/dev/raw/raw4'

asm 磁盘组创建成功，执行以下命令：

-- 查看磁盘组列表

ASM>ls

disk groups total [4]......

NO.1 name: DMLOG

NO.2 name: DMDATA

NO.3 name: VOTE

NO.4 name: DCR

Used time: 0.892(ms).

ASM>

4.3 初始化数据库

配置 dminit 控制文件，节点 1 使用 dmdba 用户执行以下命令：

vi /home/dmdba/config/dminit.ini

添加以下内容：

db_name = DSC

system_path = +DMDATA/data

system = +DMDATA/data/dsc/system.dbf

system_size = 128

roll = +DMDATA/data/dsc/roll.dbf

roll_size = 128

main = +DMDATA/data/dsc/main.dbf

main_size = 128

ctl_path = +DMDATA/data/dsc/dm.ctl

ctl_size = 8

log_size = 1024

dcr_path = /dev/raw/raw1 #dcr 磁盘路径，目前不支持 asm，只能是裸设备

dcr_seqno = 0

auto_overwrite = 1

[DSC1] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应

config_path = /home/dmdba/config/dsc1

port_num = 5236

mal_host = 192.168.137.180

mal_port = 9236

log_path = +DMLOG/log/DSC1_log01.log

log_path = +DMLOG/log/DSC1_log02.log

[DSC2] #inst_name 跟 dmdcr_cfg.ini 中 DB 类型 group 中 DCR_EP_NAME 对应

config_path = /home/dmdba/config/dsc2

port_num = 5236

mal_host = 192.168.137.181

mal_port = 9236

log_path = +DMLOG/log/DSC2_log01.log

log_path = +DMLOG/log/DSC2_log02.log

初始化实例，节点 1 使用 dmdba 用户执行以下命令：

./dminit control=/home/dmdba/config/dminit.ini

初始化完成后会在 init 控制文件配置的目录下生成 2 个实例的配置文件

将 dsc2 目录复制到节点 2 上对应的目录下。

scp -r dsc2 192.168.137.181:/home/dmdba/config/

4.4 注册服务

注册服务

以上启动方式为前台启动，仅用于验证集群配置过程。配置成功后需要注册为系统服务，方便启动和关闭集群，以及实现开机自动启动。

2 个节点都需要注册，使用 root 用户执行，到数据库安装目录的 script/root 目录。

节点 1 执行以下命令：

./dm_service_installer.sh -t dmcss -p css -dcr_ini /home/dmdba/config/dmdcr.ini

节点执行节点1相同命令即可

关闭前台启动的 css，以服务方式启动 css。

节点 1 执行以下命令：

systemctl start DmCSSServicecss1

节点 2 执行以下命令：

systemctl start DmCSSServicecss2

验证集群状态

配置监视器查看

任意节点新建监视器配置文件，执行以下命令：

vi /home/dmdba/config/dmcssm.ini

添加以下内容：

#和 dmdcr_cfg.ini 中的 DCR_OGUID 保持一致

CSSM_OGUID = 63635

#配置所有 CSS 的连接信息，

#和 dmdcr_cfg.ini 中 CSS 配置项的 DCR_EP_HOST 和 DCR_EP_PORT 保持一致

CSSM_CSS_IP = 192.168.137.180:9341

CSSM_CSS_IP = 192.168.137.181:9341

CSSM_LOG_PATH =/home/dmdba/dmdbms/log #监视器日志文件存放路径

CSSM_LOG_FILE_SIZE = 1024 #每个日志文件最大 1024 MB

CSSM_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间

启动监视器，dmdba 用户执行，到数据库软件安装目录 bin 下执行以下命令：

./dmcssm ini_path=/home/dmdba/config/dmcssm.ini

输入 show 命令，查看 css、asm 和 db 的状态。

以 db 为例，inst_status 字段为 OPEN，vtd_status 字段为 WORKING，active 字段为 TRUE 说明 db 服务正常。

4.5 客户端验证

任意节点配置 dm_svc.conf 文件，执行以下命令：

vi /etc/dm_svc.conf

添加以下内容：

dmdsc=(192.168.137.180:5236,192.168.137.181:5236)

使用 disql 工具登录集群（数据库安装目录的 bin 下）：

disql SYSDBA/SYSDBA@dmdsc

查询视图 v$dsc_ep_info，查看集群状态，执行以下命令：

select * from v$dsc_ep_info;

5、集群管理

5.1 重启集群

关闭数据库：监视器中执行 ep stop dsc

关闭 asm：监视器中执行 ep stop asm

关闭 css：各节点关闭各自的 css 服务 systemctl stop DmCSSServicecss1/DmCSSServicecss2

启动 css：各节点启动各自的 css 服务 systemctl start DmCSSServicecss1/DmCSSServicecss2

启动 asm：配置了自动拉起，等待 asm 自动启动

启动数据库：配置了自动拉起，等待数据库自动启动

5.2 归档配置

生产环境必须开启归档日志，且必须限制归档日志保留量，限制方法：

设置归档空间大小限制即指定 SPACE_LIMIT 参数（单位是 MB）。

定期删除归档日志（设置定时作业）。

共享存储集群归档需要配置本地归档和远程归档（保证每个节点都有所有归档日志）。

实例 dsc1 上配置，执行以下命令：

alter database mount;

alter database archivelog;

alter database add archivelog 'DEST=/home/dmdba/dmarch, TYPE=LOCAL, FILE_SIZE=1024, SPACE_LIMIT=102400';

alter database add archivelog 'DEST=dsc2, TYPE=REMOTE, FILE_SIZE=1024, SPACE_LIMIT=102400, INCOMING_PATH=/home/dmdba/remote_arch';

alter database open;

实例 dsc2 上配置，执行以下命令：

alter database mount;

alter database archivelog;

alter database add archivelog 'DEST=/home/dmdba/dmarch, TYPE=LOCAL, FILE_SIZE=1024, SPACE_LIMIT=102400';

alter database add archivelog 'DEST=dsc1, TYPE=REMOTE, FILE_SIZE=1024, SPACE_LIMIT=102400, INCOMING_PATH=/home/dmdba/remote_arch';

alter database open;

更多资料，请查阅官方网站：https://eco.dameng.com