maxwell deamon 监听mysql binlog 二进制文件实现数据同步到

1：首先下载maxwell https://github.com/zendesk/maxwell/releases/download/v1.24.1/maxwell-1.24.1.tar.gz

（这玩意下的很慢，建议去论坛找）

2：下载安装mysql （安装mysql比较简单自行查找）

3：给你的mysql配置文件里加上 binlog配置

[mysqld]
server_id=1
log-bin=master
binlog_format=row

还有一种配置方式，在mysql启动后执行以下命令：

mysql> set global binlog_format=ROW;
mysql> set global binlog_row_image=FULL;

4：maxwell读取binlog需要一个账号，那么我们就在mysql里面为maxwell配置一个账号

mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY 'XXXXXX';
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';
mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

5：运行你的maxwell

进入到你下载解压的maxwell文件夹里执行下面的命令

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

注意：如果你是mysql8.0，会报出以下错误：com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client

出现上述问题的原因是：mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password 把mysql用户登录密码加密规则还原成mysql_native_password

解决方案：在mysql中执行以下命令

alter user 'maxwell'@'%' identified with mysql_native_password by 'XXXXXX'; 修改认证规则

flush privileges; 刷新权限

之后重新运行一遍

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

--user mysql数据库用户名
--password mysql数据库密码
--host mysql 数据库服务器
--producer 指定数据输出到哪里
# 以上为必须要的，以下的kafka相关的是以kafka方式启动时需要的参数，kafka相关分区参数在此未指定
--kafka.bootstrap.servers 指定kafka地址
--kafka_topic 指定kakfa的topic是哪一个
# 以下可选
--daemon 守护进程后台运行
--filter 过滤条件,可以过滤数据库,表,列等等

6：出现binlog cennected 你会发现maxwell启动成功

7:我在mysql创建了一个表

再看maxwell的控制台

教程到此完结！

maxwell deamon 监听mysql binlog 二进制文件实现数据同步到相关推荐

使用canal 监听mysql binlog获取增量数据
配置mysql sudo vi /etc/my.cnf [mysqld] log-bin=/var/lib/mysql/mysql-bin #开启日志监控 binlog-format=ROW #监控模 ...
springboot整合canal，监听MySQL binlog日志，实现增量同步
有两个数据库,并不是主从关系,但是需要同步某张表,可以通过binlog日志,进行同步,前提是这两个数据库的要同步的表,表名和字段名需要一致. 当前项目连接的数据库(需要同步的数据库):base_pro ...
elasticsearch 数据类型_基于 MySQL Binlog 的 Elasticsearch 数据同步实践
来源;马蜂窝一.背景随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存 ...
基于 MySQL Binlog 的 Elasticsearch 数据同步实践
一.为什么要做随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存储业务数 ...
基于 MySQL Binlog 的 Elasticsearch 数据同步实践原
一.背景随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品.订单等数据的多维度检索. 使用 Elasticsearch 存储业务数据可以 ...
canal mysql多节点_数据同步的终极解决方案，阿里巴巴开源的Canal框架当之无愧！！...
写在前面在当今互联网行业,尤其是现在分布式.微服务开发环境下,为了提高搜索效率,以及搜索的精准度,会大量使用Redis.Memcached等NoSQL数据库,也会使用大量的Solr.Elastics ...
Java监听mysql的binlog详解(mysql-binlog-connector)
Java监听mysql的binlog详解(mysql-binlog-connector) 1. 需求概述 2. 技术选型 3. 方案设计 3.环境准备 3.1 查看是否开启binlog 3.2 mys ...
Canal监听mysql的binlog日志实现数据同步
Canal监听mysql的binlog日志实现数据同步 1. canal概述 1.1 canal简介 1.2 技术选型 1.3 原理分析 1.3.1 MySQL主备复制原理 1.3.2 canal原理 ...
spring boot+kafka+canal实现监听MySQL数据库
spring boot+kafka+canal实现监听MySQL数据库一.zookeeper安装 kafka依赖于zookeeper,安装kafka前先安装zookeeper 下载地址:Apache ...

maxwell deamon 监听mysql binlog 二进制文件实现数据同步到

maxwell deamon 监听mysql binlog 二进制文件实现数据同步到相关推荐

最新文章

热门文章