达梦数据库DM8同步到KAFKA的部署方法
本章内容已在如下环境上测试:
①操作系统:CentOS 7.5;
②数据库版本:DM8;
③DMHS版本:DMHS V3.1.3
一、安装DMHS
1.1 安装:
需要在源端和目的端分别安装dmhs软件,如果为HA双机环境,分别在两台服务器上安装dmhs。
1.1.1 将安装包上传至服务器,并授予可执行权限
[root@bigdata159 dmdba]#chmod 777 dmhs_V3.1.3_dm8-kafka_rev82884sp3_rh7_64_veri_20190617.bin
1.1.2运行安装程序
./dmhs_V3.1.3_dm8-kafka_rev82884sp3_rh7_64_veri_20190617.bin -i
1.1.3输入key文件
[root@bigdata159 dmdba]# ./dmhs_V3.0.2.01_dm7_rock4.2_64\(20151009\).bin -i
Extract install files.........
Welecom to DMHS Install Program
Require Space:100M
Whether to input the path of Key File? (Y/y:yes N/n:No)[Y/y]Y
Please Input the Path of the Key File [dmhs.key]:/home/dmdba/dmhs.key
1.1.4 输入安装路径
Please input the install path [/opt/dmhs]:/home/dmdba/dmhs
Available Space :1488M
Please Confirm the install path?(Y/y:yes N/n:No)[Y/y]Y
1.1.5 输入安装参数
[]中的为默认值,直接输入回车选择默认值,该步骤参数也可以随便填写,后期通过配置修改。其中源端和目的端的siteid要设置的不同(如源端使用1,目的端使用2)。
Please input the language (ch/en)[ch]:ch
Please input the mgr_port (1000-65535)[5345]:
Please input the chk_interval (1-60) second[3]:
Please input the ckpt_interval (10-65536) second[60]:
Please input the siteid (0-65536):1
Whether to config statistical analysis? (Y/y:Yes N/n:No)[Y/y]
Please input the database type (dm7/dm6/oracle)[dm7]:
Please input the status collection Interval (0-60)[5]:
Please input the database IP:127.0.0.1
Please input the database port (1000-65535)[5236]:
Please input the database user name:SYSDBA
Please input the database user password:SYSDBA
1.2 配置
1.2.1修改源端和目的端dmhs.xml配置文件
源端配置内容如下:
<?xml version="1.0" encoding="GB2312" standalone="no"?>
<dmhs>
<base>
<lang>ch</lang>
<mgr_port>5345</mgr_port>
<chk_interval>3</chk_interval>
<ckpt_interval>60</ckpt_interval>
<siteid>1</siteid>
<version>2.0</version>
</base>
<cpt>
<db_type>dm8</db_type>
<db_server>127.0.0.1</db_server>
<db_user>SYSDBA</db_user>
<db_pwd>SYSDBA</db_pwd>
<db_port>5236</db_port>
<dict_dir>/home/dmdba/dm/dmhs_kafka/dmhs_dict</dict_dir>
<char_code>PG_GB18030</char_code>
<arch>
<clear_interval>600</clear_interval>
<clear_flag>1</clear_flag>
</arch>
<send>
<ip>10.147.232.159</ip>
<mgr_port>5345</mgr_port>
<data_port>5346</data_port>
<net_pack_size>256</net_pack_size>
<net_turns>0</net_turns>
<crc_check>0</crc_check>
<identity>0</identity>
<filter>
<enable>
<item>*.*</item>
</enable>
<disable/>
</filter>
<map>
</map>
</send>
</cpt>
</dmhs>
目的端配置文件内容如下:
<?xml version="1.0" encoding="GB2312" standalone="no"?>
<dmhs>
<base>
<lang>ch</lang>
<mgr_port>5345</mgr_port>
<chk_interval>3</chk_interval>
<ckpt_interval>60</ckpt_interval>
<siteid>2</siteid>
<version>2.0</version>
</base>
<exec>
<recv>
<data_port>5346</data_port>
</recv>
<db_name></db_name>
<exec_thr>1</exec_thr>
<case_sensitive>0</case_sensitive>
<exec_policy>2</exec_policy>
<toggle_case>0</toggle_case>
<commit_policy>1</commit_policy>
<enable_merge>0</enable_merge>
<is_kafka>1</is_kafka>
</exec>
</dmhs>
如果源端和目的端在同一台服务器可以把配置集合到一起。
1.2.2 源端数据库修改配置参数
修改dm.ini中参数RLOG_APPEND_LOGIC=1
开启归档日志ARCH_INI=1,(一般默认未开启)增加归档配置文件dmarch.ini:
[ARCHIVE_LOCAL1]
ARCH_TYPE= LOCAL
ARCH_DEST= /dbarch/dmarch
ARCH_FILE_SIZE= 512
ARCH_SPACE_LIMIT= 300000
1.2.3 在源端数据库建立数据库对象
为了同步DDL操作和维护源端字典信息,使用SYSDBA用户建立下面的数据库对象。该脚本以相应版本安装目录中./scripts/ddl_sql_dm8.sql为准。
1.3 目的端KAFKA相关设置
1.3.1 查看当前有哪些topic
[dmdba@master kafka_2.11-1.1.0]$ bin/kafka-topics.sh --list --zookeeper localhost:2181
1.3.2 创建一个topic
[dmdba@master kafka_2.11-1.1.0]$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic DMHS
[dmdba@master kafka_2.11-1.1.0]$ bin/kafka-topics.sh --list --zookeeper localhost:2181 DMHS
1.3.3 查看消费者的界面是否有消息推送过来
[dmdba@master kafka_2.11-1.1.0]$ bin/kafka-console-consumer.sh --bootstrap-server 10.147.232.159:9092 --topic DMHS --from-beginning
注:以上红色部分为创建的topic话题,需要和后期启动脚本中的话题名称一致,区分大小写。
✦ 二、启动同步服务 ✦
如果源端和目的端在同一服务器只需启动一个进程即可,在两台服务器需要分别启动。本篇以在同一台服务器举例。
2.1. 启动DMHS服务
2.1.1 启动脚本
启动之前将kafka目录下的libs目录的文件,全部copy 至dmhs软件bin目录下
创建DMHS服务启动脚本名为start_dmhs_kafka.sh,内容如下:
#!/bin/sh
export.GBK
export LD_LIBRARY_PATH=/home/dmdba/dm/dmdbms/bin:/home/dmdba/dm/dmhs_kafka/bin
java -Djava.ext.dirs="/home/dmdba/dm/dmhs_kafka/bin" com.dameng.dmhs.dmga.service.impl.ExecDMHSKafkaService /home/dmdba/dm/dmhs_kafka/bin/dmhs.hs 10.147.232.159:9092 DMHS
说明:
①"/home/dmdba/dm/dmhs_kafka/bin"为kafka的libs目录以及DMHS 辅助jar包路径。
②com.dameng.dmhs.dmga.service.impl.ExecDMHSKafkaService 为DMHS实现kafka同步服务的类名。
③/home/dmdba/dm/dmhs_kafka/bin/dmhs.hs为DMHS配置文件dmhs.xml。
④10.147.232.159:9092为kafka集群节点。
⑤DMHS 为topic话题。topic可选,如果不填写topic,则每张表会建一个topic,名称即为表名。指定topic的话所有的表都填写在一个topic中,该topic话题必须和KAFKA话题一致。
以上各项路径参数根据实际环境进行修改。建议使用jdk1.7以上版本。
2.1.2. 启动服务
进入启动脚本目录,使用dmdba用户执行:
[dmdba@bigdata159 ~/dmhs_kafka/bin]$./start_dmhs_kafka.sh
DMHS执行服务自动启动并监听相应数据端口。
启动的时候如果有个报错,库文件 libdmhs_exec_dll.so 未找到,如下图所示:
[dmdba@bigdata159 ~/dmhs_kafka/bin]$ldd libdmhs_exec_dll.so
原因是有依赖问题,ldd一下把依赖解决就好。
处理过程中遇到缺少libodbc.so.1的动态库需要安装一下unixodbc。操作如下:
1) 安装 UNIXODBC-2.3.0 的方法。
将压缩包上传到 linux /usr/local 下,然后执行
[root@bigdata159 /usr/local]#tar -xzf unixODBC-2.3.0.tar.gz
[root@bigdata159 /usr/local]#cd unixODBC-2.3.0
[root@bigdata159 unixODBC-2.3.0]#./configure
[root@bigdata159 unixODBC-2.3.0]#make && make install
通过 odbc_config --version 确定odbc安装是否成功
2) 拷贝odbc动态库。
进入/usr/local/lib/下执行cp libodbc.so.2 到dmhs/bin下libodbc.so.1,然后另起一个终端窗口,进入DMHS目录执行./dmhs_console程序连接DMHS服务,进行字典装载操作后,启动捕获服务:
[dmdba@bigdata159 libs]./dmhs_console
DMHS >connect 223.254.19.139:5345
DMHS >COPY 0 “SCH.NAME=’DMHS’” DICT
DMHS >START CPT
至此,完成DMHS同步服务启动。
2.1.3. 验证DMHS同步至kafka
开启一个消费者界面,目前新版本一个对自动对应一个topic,这里我观察DMHS的推送情况,所以topic就指定DMHS。
达梦数据库DM8同步到KAFKA的部署方法相关推荐
- 达梦数据库DM8版本DSC集群启停注意事项
达梦数据库DM8的DSC集群与DM7相比,新增加了DMCSSM监视器功能,使用监视器启停集群非常方便. 首先,介绍一下什么是DSC DMDSC:DM共享存储数据库集群,英文全称DM Data Shar ...
- 达梦数据库DM8飞腾版本、芯版本获取地址,最新达梦数据库各国产化版本获取方法,达梦数据库DM8使用手册、产品文档获取
获取地址: 武汉达梦数据库官网 点击会下载出一个 word 文档,里面有对应的百度网盘地址,再下载就行了. 这个页签有各种最新版本达梦数据库 DM8 的使用手册. 喜欢的点个赞❤吧!
- 中标麒麟运行java,开发知识-中标麒麟安装达梦数据库(DM8)
环境说明 操作系统版本:NeoKylin Linux Advanced Server release V7Update6 (Chromium) 1.前期准备工作 1.1数据库下载 1.2创建安装用户 ...
- 【达梦数据库DM8】DCA培训学习及考试分享
一.培训 有幸在公司组织下参加了达梦数据库DM8-DCA在线认证培训培训,在这3天里面,达梦培训老师采用理论+实操的培训模式,让我对达梦数据库有了基本的了解.由于工作平时接触了MySQL,Oracle ...
- 如何在达梦数据库DM8下创建新用户、表空间、数据库表结构
本文假定你已经安装好了达梦数据库DM8. 案例要求说明 在数据库中新建立三张表,存储在TBS表空间上,信息由TEST用户管理,密码Dameng123.为了数据安全,人力资源用户HR只能修改EMPLOY ...
- 达梦数据库——DM8安装操作及体系架构介绍
文章目录 一.数据库行业的发展趋势 二.国产数据库的现状 1.自主研发 三.达梦公司的介绍和达梦产品 1.达梦公司的由来 2.达梦公司的产品线 四.DM8的安装及实例的管理 1.软件信息收集 2.硬件 ...
- 达梦数据库(DM8)DCA培训及认证考试有感--附ODBC使用新场景
随着国产化进程的进一步开展,国产数据库的应用将日益广泛.达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统,在国产化数据库中适配性良好,随着不断发展,达梦数据库在不断壮大,在 ...
- 达梦数据库DM8之删除归档日志文件
1. 查看归档日志信息 1)检查本地归档日志信息 [dmdba@dmdb01 arch]$ ls -lrt total 1052812 -rw-r--r-- 1 dmdba dinstall ...
- 【总结】对接达梦数据库DM8详细教程
目录 1.达梦数据库-技术文档 2.软件安装包下载 2.1 iso 安装版 2.2 docker 安装版 3.DM8单机安装部署规范 4.安装操作步骤 4.1 安装docker 4.2 docker安 ...
最新文章
- 如何使用htmlq提取html文件内容
- 论如何优雅地进行工作安排
- R语言ggplot2可视化:自定义设置连续变量图例(legend)宽度(width)、自定义设置连续变量图例位置(position)、自定义设置连续变量图例连续渐变
- KaliLinuxNetHunter教程下载相关资源
- Gnome Subtitles 0.0.1
- 使用literal或者绑定变量执行SAP HANA SQL语句
- 状态反射在体育运动中的作用_建筑用热反射隔热涂料的研究进展
- 《Unity2018入门与实战》笔记(9 / 9):个人总结
- Problem C: 括号匹配(栈和队列)
- java基础学习笔记(二)
- 如何使用Bootstrap Modal和jQuery AJAX创建登录功能
- ipvsadm命令及lvs-nat类型web服务器集群
- unity3d 几种镜头畸变
- sae中使用django migrate导致13013的问题
- 断路器之一:Hystrix 使用与分析
- 谁能再一次接受“南京大×××”不存在?
- 堆区和栈区的区别【转】
- Android中tcp和udp的区别,tcp和udp使用总结
- js中this指向的四种规则+ 箭头函数this指向
- HAA9811是内置Charge Pump,AB/D类切换,防破音,5.5W单通道音频功率放大器
热门文章
- 五大常用算法——回溯算法详解及经典例题
- 全文搜索引擎,索引库
- modbustcp测试工具怎么用_年轻人不讲武德不仅白piao接口测试知识还白piao接口测试工具会员...
- 关于使用java操作doc与docx互转
- Mozilla Firefox 全版本下载
- Not enough Memory
- 可重入锁/不可重入锁,公平锁/非公平锁,乐观锁/悲观锁,独享锁/共享锁,偏向锁/轻量级锁/重量级锁,分段锁,自旋锁
- 第一节计算机课开场白,第一节课有趣的开场白
- QR二维码编码解码原理算法介绍
- Visual Studio Code(VS)