资源下载

链接:https://pan.baidu.com/s/1P1nvfvkRSk_vZ4ulXbfTxg 提取码:rw55

Zookeeper

创建目录

新建data目录

解压并修改配置文件

进入zookeeper的conf目录,修改配置文件

  1. 将zoo_sample.cfg拷贝一份
    cp zoo_sample.cfg zoo.cfg
  2. 将zoo_sample.cfg修改成备份文件
    mv zoo_sample.cfg zoo_sample.bak
  3. 进入zoo.cfg
    vi zoo.cfg

修改具体的配置

dataDir=/xxxx/data

clientPort=2181
autopurge.purgeInterval=1 #连接限制

因为只有一台所以没有以下配置

server.1=127.0.0.1:2888:3888 (server.1 : 1代表机器ID)
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890

启动

进入到安装目录的bin目录下,启动对应脚本即可 启动:sh ./zkServer.sh 查看启动状态:./zkServer.sh status

Manager

下载下来直接解压即可

修改配置文件运行

新建otter数据库

create database otter DEFAULT CHARACTER SET utf8;运行下载文件里的sql
如果文件sql文件运行错误,则运行此地址的sql
https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql

otter.properties配置修改 vi conf/otter.properties

## otter manager domain name
otter.domainName = 127.0.0.1
## otter manager http port
otter.port = 8080
## jetty web config xml
otter.jetty = jetty.xml## otter manager database config  数据库要指向上面新建的库
otter.database.driver.class.name = com.mysql.jdbc.Driver
otter.database.driver.url = jdbc:mysql://ip:port/otter
otter.database.driver.username = root
otter.database.driver.password = root## otter communication port
otter.communication.manager.port = 1099## otter communication pool size
otter.communication.pool.size = 10## default zookeeper address 上面zookeeper配置的端口
otter.zookeeper.cluster.default = 127.0.0.1:2181
## default zookeeper sesstion timeout = 60s
otter.zookeeper.sessionTimeout = 60000## otter arbitrate connect manager config
otter.manager.address = ${otter.domainName}:${otter.communication.manager.port}## should run in product mode , true/false
otter.manager.productionMode = true## self-monitor enable or disable
otter.manager.monitor.self.enable = true
## self-montir interval , default 120s
otter.manager.monitor.self.interval = 120
## auto-recovery paused enable or disable
otter.manager.monitor.recovery.paused = true
# manager email user config
otter.manager.monitor.email.host = smtp.gmail.com
otter.manager.monitor.email.username =
otter.manager.monitor.email.password =
otter.manager.monitor.email.stmp.port = 465

启动Manager

进到安装目录,执行./startup.sh

访问管理页面

在浏览器输入manager机器的ip:8080 出现登录窗口,账号密码都是admin

配置Zookeeper

配置Node

解压node

tar -zxvf node.deployer-4.2.18.tar

修改配置文件 conf/otter.properties

# otter node root dir
#otter.nodeHome = ${user.dir}/../
otter.nodeHome = /datas/otter/node## otter node dir
otter.htdocs.dir = ${otter.nodeHome}/htdocs
otter.download.dir = ${otter.nodeHome}/download
otter.extend.dir= ${otter.nodeHome}/extend## default zookeeper sesstion timeout = 60s
otter.zookeeper.sessionTimeout = 60000## otter communication pool size
otter.communication.pool.size = 10## otter arbitrate & node connect manager config
otter.manager.address = 127.0.0.1:1099

添加 nid 配置

通过这几步操作,获取到了node节点对应的唯一标示,称之为node id,简称nid,比如我添加的机器对应序号为1 echo 1 > conf/nid

启动

启动bin目录下对应的脚本,查看日志tail -f ../logs/node/node.log

这时对应节点的状态会变成已启动,如果没有启动,尝试把manager也重启一下

配置一个同步任务

搭建一个数据库同步任务,源数据库必须开启binlog,并且binlog_format为ROW,即在mysql的配置文件加上以下两行

log-bin=mysql-bin
binlog-format=ROW

如果源库已开启binlog,通过mysql客户端命令show master status查看

添加canal

在Otter Manager“配置管理-canal配置”页面点击添加

位点信息JSON格式固定,journalName和position 可以通过 show master status 数据库查询得到,时间戳填当前时间戳即可

添加数据源

按常规数据库连接填即可

添加数据表配置

“配置管理-数据表配置”进入数据表管理页面 schema name 和 table name 可以使用通配符(.*)代替,也可以具体到当前数据库连接下的某一个库下的某一张表

添加一个channel

如上图填好所需信息,勾选高级设置,可以选是否过滤ddl同步等选项,点击保存,成功后会返回Pipeline管理页面。

添加映射关系

添加pipeline成功后,点击Pipeline名字

进入映射关系列表页面,点击添加

进入添加映射关系页面

最后在回到Channel 列表页面,启动即可

至此同步就完成了

服务器otter部署-实现MySql数据同步相关推荐

  1. es与mysql数据同步 (go-mysql-es)

    es与mysql数据同步 (go-mysql-es) 简介 go-mysql-elasticsearch是一款开源的高性能的Mysql数据同步ES的工具,其由go语言开发,编译及使用非常 简单.go- ...

  2. MySql数据同步(双机热备)已正式应用上平台

    经过一个多月的测试MYSQL的双机同步数据还是很不错的. 在家庭ADSL的4M的带宽下,有10个人在应用此网络,MYSQL数据同步还是照样正常,我想在正常的平台环境肯定更即时,效率更高! 但同时需要注 ...

  3. MySQL数据同步的一个很初级运用

    PHP程序员基本上都离不开MySQL,今天转载一篇关于MySQL数据同步的一个很初级运用. 今天由于工作需要,配置了一下主从同步,这里记录一下配置过程,以备查阅. 事先度娘了一番,主从同步需要保证主从 ...

  4. datax实现mysql数据同步

    前言 DataX 是阿里内部广泛使用的离线数据同步工具/平台,可以实现包括 MySQL.Oracle.HDFS.Hive.OceanBase.HBase.OTS.ODPS 等各种异构数据源之间高效的数 ...

  5. liunx下通过Canal将MySQL数据同步到Elasticsearch

    liunx下通过Canal将MySQL数据同步到Elasticsearch 一.canal背景信息 Canal是Github中开源的ETL(Extract Transform Load)软件 cana ...

  6. ES和MySQL数据同步(简略版)

    一.在docker配置elasticsearch和kibana 1.注:elasticsearch和kibana的版本要一致 elesticsearch --拉取镜像 docker pull dock ...

  7. 通过Canal将MySQL数据同步到elasticsearch (mysql8+canal1.1.5+canal-adapter1.1.5+elasticsearch6.7.0+ik6.8.6)

    经过几天的的深入研究(网上的文档很多,但是坑不少,少一个配置可能就走入了死胡同),特此将我部署的过程意义道来(参考文档通过Canal将MySQL数据同步到阿里云Elasticsearch - 检索分析 ...

  8. MYSQL数据同步到ES7

    ** 概述 ** 现在的项目数据量越来越大,全文检索功能使用场景也越来越普遍. 而我们一般的生产数据是在mysql,或其它一些数据库, 我们的产品数据就是mysql,而又要使用全文检索, 所以要把my ...

  9. canal实现mysql数据同步

    前言 canal是实现mysql数据备份,异地灾备,异地数据同步等重要的中间件,在实际的业务场景中有着广泛的使用,本文基于小编所在项目中一个异地数据同步的场景为例,通过案例演示下利用canal实现my ...

最新文章

  1. 24 式加速你的 Python
  2. Windows XP硬盘安装Ubuntu 11.10双系统全程图解
  3. Spring4.x新特性
  4. C++(五)——运算符重载
  5. 【机器学习】4 款超级棒的模型可解释性工具包,总有一款适合你!
  6. 山东理工大计算机专业学什么科目,2020年山东理工大学计算机科学与技术学院880数据结构硕士研究生入学考试科目大纲...
  7. 大家看看这个参数inctype你是否使用过?我做了以下测试,欢迎拍砖!
  8. 把表单转成json,并且name为key,value为值
  9. git 基础用法梳理
  10. HDU - 6273 Master of GCD
  11. python模拟登录的实现
  12. CRUD搬砖两三年了,怎么阅读Spring源码?
  13. 硬件检测相关工具大全
  14. vue element admin 图标乱码问题
  15. 免费在线条码二维码识别
  16. 鸽巢排序Pigeonhole Sort----(排序算法八)
  17. 日期计算器---日期相减、日期加天数、日期减天数
  18. [Introduction to programming in Java 笔记] 1.3.8 Gambler's ruin simulation 赌徒破产模拟
  19. 小白必看:合理搭建巨量引擎账户结构要点总结!
  20. day69 【哈希,HashSet,HashMap】

热门文章

  1. 5.C#-if-else分支语句结构
  2. 山西流感就诊比持续上升 专家为民答疑解惑
  3. python_bomb----函数高级特性(生成器)
  4. Windows 7怎么关闭自动播放功能?
  5. 1Python进阶强化训练之装饰器使用技巧进阶
  6. Hive学习之七《 Sqoop import 从关系数据库抽取到HDFS》
  7. 你不知道的那些“XX即服务”
  8. 详解H3C交换机“端口安全”功能
  9. Throwable是java.lang包中一个专门用来处理异常的类
  10. 解决Windows平台通过cURL上传APP到蒲公英pgyer平台时无法使用中文升级描述的问题...