服务器otter部署-实现MySql数据同步
资源下载
链接:https://pan.baidu.com/s/1P1nvfvkRSk_vZ4ulXbfTxg 提取码:rw55
Zookeeper
创建目录
新建data目录
解压并修改配置文件
进入zookeeper的conf目录,修改配置文件
- 将zoo_sample.cfg拷贝一份
cp zoo_sample.cfg zoo.cfg - 将zoo_sample.cfg修改成备份文件
mv zoo_sample.cfg zoo_sample.bak - 进入zoo.cfg
vi zoo.cfg
修改具体的配置
dataDir=/xxxx/data
clientPort=2181
autopurge.purgeInterval=1 #连接限制
因为只有一台所以没有以下配置
server.1=127.0.0.1:2888:3888 (server.1 : 1代表机器ID)
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890
启动
进入到安装目录的bin目录下,启动对应脚本即可 启动:sh ./zkServer.sh
查看启动状态:./zkServer.sh status
Manager
下载下来直接解压即可
修改配置文件运行
新建otter数据库
create database otter DEFAULT CHARACTER SET utf8;运行下载文件里的sql
如果文件sql文件运行错误,则运行此地址的sql
https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql
otter.properties配置修改 vi conf/otter.properties
## otter manager domain name
otter.domainName = 127.0.0.1
## otter manager http port
otter.port = 8080
## jetty web config xml
otter.jetty = jetty.xml## otter manager database config 数据库要指向上面新建的库
otter.database.driver.class.name = com.mysql.jdbc.Driver
otter.database.driver.url = jdbc:mysql://ip:port/otter
otter.database.driver.username = root
otter.database.driver.password = root## otter communication port
otter.communication.manager.port = 1099## otter communication pool size
otter.communication.pool.size = 10## default zookeeper address 上面zookeeper配置的端口
otter.zookeeper.cluster.default = 127.0.0.1:2181
## default zookeeper sesstion timeout = 60s
otter.zookeeper.sessionTimeout = 60000## otter arbitrate connect manager config
otter.manager.address = ${otter.domainName}:${otter.communication.manager.port}## should run in product mode , true/false
otter.manager.productionMode = true## self-monitor enable or disable
otter.manager.monitor.self.enable = true
## self-montir interval , default 120s
otter.manager.monitor.self.interval = 120
## auto-recovery paused enable or disable
otter.manager.monitor.recovery.paused = true
# manager email user config
otter.manager.monitor.email.host = smtp.gmail.com
otter.manager.monitor.email.username =
otter.manager.monitor.email.password =
otter.manager.monitor.email.stmp.port = 465
启动Manager
进到安装目录,执行./startup.sh
访问管理页面
在浏览器输入manager机器的ip:8080 出现登录窗口,账号密码都是admin
配置Zookeeper
配置Node
解压node
tar -zxvf node.deployer-4.2.18.tar
修改配置文件 conf/otter.properties
# otter node root dir
#otter.nodeHome = ${user.dir}/../
otter.nodeHome = /datas/otter/node## otter node dir
otter.htdocs.dir = ${otter.nodeHome}/htdocs
otter.download.dir = ${otter.nodeHome}/download
otter.extend.dir= ${otter.nodeHome}/extend## default zookeeper sesstion timeout = 60s
otter.zookeeper.sessionTimeout = 60000## otter communication pool size
otter.communication.pool.size = 10## otter arbitrate & node connect manager config
otter.manager.address = 127.0.0.1:1099
添加 nid 配置
通过这几步操作,获取到了node节点对应的唯一标示,称之为node id,简称nid,比如我添加的机器对应序号为1 echo 1 > conf/nid
启动
启动bin目录下对应的脚本,查看日志tail -f ../logs/node/node.log
这时对应节点的状态会变成已启动,如果没有启动,尝试把manager也重启一下
配置一个同步任务
搭建一个数据库同步任务,源数据库必须开启binlog,并且binlog_format为ROW,即在mysql的配置文件加上以下两行
log-bin=mysql-bin
binlog-format=ROW
如果源库已开启binlog,通过mysql客户端命令show master status查看
添加canal
在Otter Manager“配置管理-canal配置”页面点击添加
位点信息JSON格式固定,journalName和position 可以通过 show master status
数据库查询得到,时间戳填当前时间戳即可
添加数据源
按常规数据库连接填即可
添加数据表配置
“配置管理-数据表配置”进入数据表管理页面 schema name 和 table name 可以使用通配符(.*)
代替,也可以具体到当前数据库连接下的某一个库下的某一张表
添加一个channel
如上图填好所需信息,勾选高级设置,可以选是否过滤ddl同步等选项,点击保存,成功后会返回Pipeline管理页面。
添加映射关系
添加pipeline成功后,点击Pipeline名字
进入映射关系列表页面,点击添加
进入添加映射关系页面
最后在回到Channel 列表页面,启动即可
至此同步就完成了
服务器otter部署-实现MySql数据同步相关推荐
- es与mysql数据同步 (go-mysql-es)
es与mysql数据同步 (go-mysql-es) 简介 go-mysql-elasticsearch是一款开源的高性能的Mysql数据同步ES的工具,其由go语言开发,编译及使用非常 简单.go- ...
- MySql数据同步(双机热备)已正式应用上平台
经过一个多月的测试MYSQL的双机同步数据还是很不错的. 在家庭ADSL的4M的带宽下,有10个人在应用此网络,MYSQL数据同步还是照样正常,我想在正常的平台环境肯定更即时,效率更高! 但同时需要注 ...
- MySQL数据同步的一个很初级运用
PHP程序员基本上都离不开MySQL,今天转载一篇关于MySQL数据同步的一个很初级运用. 今天由于工作需要,配置了一下主从同步,这里记录一下配置过程,以备查阅. 事先度娘了一番,主从同步需要保证主从 ...
- datax实现mysql数据同步
前言 DataX 是阿里内部广泛使用的离线数据同步工具/平台,可以实现包括 MySQL.Oracle.HDFS.Hive.OceanBase.HBase.OTS.ODPS 等各种异构数据源之间高效的数 ...
- liunx下通过Canal将MySQL数据同步到Elasticsearch
liunx下通过Canal将MySQL数据同步到Elasticsearch 一.canal背景信息 Canal是Github中开源的ETL(Extract Transform Load)软件 cana ...
- ES和MySQL数据同步(简略版)
一.在docker配置elasticsearch和kibana 1.注:elasticsearch和kibana的版本要一致 elesticsearch --拉取镜像 docker pull dock ...
- 通过Canal将MySQL数据同步到elasticsearch (mysql8+canal1.1.5+canal-adapter1.1.5+elasticsearch6.7.0+ik6.8.6)
经过几天的的深入研究(网上的文档很多,但是坑不少,少一个配置可能就走入了死胡同),特此将我部署的过程意义道来(参考文档通过Canal将MySQL数据同步到阿里云Elasticsearch - 检索分析 ...
- MYSQL数据同步到ES7
** 概述 ** 现在的项目数据量越来越大,全文检索功能使用场景也越来越普遍. 而我们一般的生产数据是在mysql,或其它一些数据库, 我们的产品数据就是mysql,而又要使用全文检索, 所以要把my ...
- canal实现mysql数据同步
前言 canal是实现mysql数据备份,异地灾备,异地数据同步等重要的中间件,在实际的业务场景中有着广泛的使用,本文基于小编所在项目中一个异地数据同步的场景为例,通过案例演示下利用canal实现my ...
最新文章
- 24 式加速你的 Python
- Windows XP硬盘安装Ubuntu 11.10双系统全程图解
- Spring4.x新特性
- C++(五)——运算符重载
- 【机器学习】4 款超级棒的模型可解释性工具包,总有一款适合你!
- 山东理工大计算机专业学什么科目,2020年山东理工大学计算机科学与技术学院880数据结构硕士研究生入学考试科目大纲...
- 大家看看这个参数inctype你是否使用过?我做了以下测试,欢迎拍砖!
- 把表单转成json,并且name为key,value为值
- git 基础用法梳理
- HDU - 6273 Master of GCD
- python模拟登录的实现
- CRUD搬砖两三年了,怎么阅读Spring源码?
- 硬件检测相关工具大全
- vue element admin 图标乱码问题
- 免费在线条码二维码识别
- 鸽巢排序Pigeonhole Sort----(排序算法八)
- 日期计算器---日期相减、日期加天数、日期减天数
- [Introduction to programming in Java 笔记] 1.3.8 Gambler's ruin simulation 赌徒破产模拟
- 小白必看:合理搭建巨量引擎账户结构要点总结!
- day69 【哈希,HashSet,HashMap】
热门文章
- 5.C#-if-else分支语句结构
- 山西流感就诊比持续上升 专家为民答疑解惑
- python_bomb----函数高级特性(生成器)
- Windows 7怎么关闭自动播放功能?
- 1Python进阶强化训练之装饰器使用技巧进阶
- Hive学习之七《 Sqoop import 从关系数据库抽取到HDFS》
- 你不知道的那些“XX即服务”
- 详解H3C交换机“端口安全”功能
- Throwable是java.lang包中一个专门用来处理异常的类
- 解决Windows平台通过cURL上传APP到蒲公英pgyer平台时无法使用中文升级描述的问题...