MPP集群基本概念和搭建

1，概述：

为了支持海量数据存储和处理，高并发处理，高可用性等需求，提供高端数据仓库解决方案，DM提供了大规模并行处理MPP架构。

2，基本概念：

MPP：
即大规模并行处理
##################################################################
EP:
MPP环境内每个实际运行的实例节点称为一个执行节点（基于主备的MPP环境内备机除外）
###########################################################
主/从EP：
MPP是对等无共享架构，对整个系统来说，每个节点作用都是一样的，用户可以连接到其中任何一个进行操作。对每个用户会话来说，执行节点具有主从之分，用户会话实际连接的那个节点称为主EP，其余的节点都称为从EP

3，数据分布

DM MPP 系统中的数据分布在各 EP 中，支持表数据的哈希分布、随机分布、复制分布、范围分布、LIST 分布类型，用户可根据应用的实际情况为表数据选择合适的分布类型。

4,相关配置文件

dm.ini MPP 相关配置项
dm.ini 是 DM 数据库实例的配置文件，通过配置该文件可以设置 DM 数据库服务器的各种功能和性能选项

dmmal.ini 配置项
dmmal.ini 是 MAL 系统的配置文件，此配置文件生效的前提是 dm.ini 中的参数MAL_INI 置为 1。使用同一套 MAL 系统的所有实例，MAL 系统配置文件要严格保持一致

dmmpp.ctl
dmmpp.ctl 是 DM MPP 系统的控制文件，它是一个二进制文件，用户不能直接进行配置。用户需要首先配置 dmmpp.ini，然后利用 dmctlcvt 工具进行转换得到生成的dmmpp.ctl 文件

需要停止 DM MPP 系统的运行时，只需要停止每个 EP 的 DM 实例即可，没有特别的顺序要求。若在 DM MPP 系统的运行过程中，某一 EP 发生故障停机，则整个 MPP 系统将处于不能正常服务的状态。当前所有的用户会话会被系统断开，不能进行全局登录，只能进行本地登录。因此，为了保证 MPP 系统的高可用性，我们强烈建议采用 DM MPP 与数据守护相结合的部署方案

搭建过程

1，两个节点安装数据库

2，节点1 端口5236，节点2 端口5237

3，初始化环境一致

初始化1./dminit path=/dm8/ db_name=czw instance_name=czw01 port_num=5236
初始化2./dminit path=/dm8/ db_name=czw instance_name=czw02 port_num=5237

分别对两个实例的 dm.ini 进行配置

1:
INSTANCE_NAME = czw01
PORT_NUM = 5236
MAL_INI = 1
MPP_INI = 1
2:
INSTANCE_NAME = czw02
PORT_NUM = 5237
MAL_INI = 1
MPP_INI = 1

配置 dmmal.ini(两个一样)

1:
[MAL_INST1]
MAL_INST_NAME = czw01
MAL_HOST = 10.0.0.63
MAL_PORT = 5269
MAL_INST_HOST = 10.0.0.63
MAL_INST_PORT = 5236[MAL_INST2]
MAL_INST_NAME = CZW02
MAL_HOST = 10.0.0.64
MAL_PORT = 5270
MAL_INST_HOST = 10.0.0.64
MAL_INST_PORT = 5237

配置 dmmpp.ctl（全部配置）

dmmpp.ctl 是一个二进制文件，用户不能直接配置，需要先配置 dmmpp.ini

[SERVICE_NAME1]MPP_SEQ_NO=0MPP_INST_NAME=CZW01[SERVICE_NAME2]MPP_SEQ_NO=1MPP_INST_NAME=CZW02转换
./dmctlcvt type=2 src=/dm8/czw/dmmpp.ini dest=/dm8/czw/dmmpp.ctl

经过前面四个步骤，DM MPP 环境已经配置完成了。分别启动 CZW01和 CZW02 的 DM 数据库实例（顺序不分先后），DM MPP 系统即能正常运行，用户就可以登录任一 EP 进行数据库操作了。

分别注册服务启动

./dm_service_installer.sh -t dmserver -dm_ini /dm8/czw/dm.ini -p czw01
./DmServiceczw01 start./dm_service_installer.sh -t dmserver -dm_ini /dm8/czw/dm.ini -p czw02
./DmServiceczw02 start

可以插入数据测试

两个节点都能查到相同的数据,验证成功

详情关注https://eco.dameng.com