数据采集之解析Mysql的binlog日志发送至Kafka实时消费（转：https://blog.csdn.net/liguohuabigdata/article/details/79472777）

本文采用Maxwell来实现实时解析mysql的binlog日志发送至kafka

1、开启mysql binlog

   环境中mysql是docker容器,所以需要进入容器修改mysql配置.docker exec -it ef07dab4da9d bash然后进入/etc/mysql/ 修改my.cnf增加如下内容server-id=1log-bin=masterbinlog_format=row重启docker容器 ，确认binlog是否开启show variables like '%log_bin%';log_bin属性值为ON,则以开启成功

2、配置并启动Maxwell

Maxwell的 github地址为 https://github.com/zendesk/maxwell。可去下载最新版。
wget https://github.com/zendesk/maxwell/releases/download/v1.10.7/maxwell-1.10.7.tar.gz
tar -zxf maxwell-1.10.7.tar.gz
bin/maxwell --user='root' --password='123456'--host='10.99.22.24' --producer=kafka --kafka.bootstrap.servers=bigdata001:9092
host为 mysql地址，bigdata001是我机器地址

3、启动kafka

我这里kafka是已经安装好的，直接启动就可以了，如果没有可以按照官网的步骤安装kafka,启动kafka之前先要启动 zookeeper
bin/zkServer.sh start
然后开启kafka
bin/kafka-server-start.sh config/server.properties
创建topic
bin/kafka-topics.sh--create --zookeeper bigdata001:2181 --replication-factor 1 --partitions 1 --topic maxwell
启动producer
bin/kafka-console-producer.sh--broker-list bigdata001:9092 --topic maxwell
启动consumerbin/kafka-console-consumer.sh--zookeeper bigdata001:2181 --topic maxwell --from-beginning

4、测试

改变数据库可看到如下效果

其它方案(非博文中的内容)：
https://blog.csdn.net/qq_30921461/article/details/78320750

数据采集之解析Mysql的binlog日志发送至Kafka实时消费（转：https://blog.csdn.net/liguohuabigdata/article/details/79472777）相关推荐

Android Volley完全解析(一)，初识Volley的基本用法转载地址：http://blog.csdn.net/guolin_blog/article/details/17482095
转载地址:http://blog.csdn.net/guolin_blog/article/details/17482095 1. Volley简介我们平时在开发Android应用的时候不可避免地都 ...
Android Volley完全解析(二)，使用Volley加载网络图片转载：http://blog.csdn.net/guolin_blog/article/details/174
转载:http://blog.csdn.net/guolin_blog/article/details/17482165 在上一篇文章中,我们了解了Volley到底是什么,以及它的基本用法.本篇文章中 ...
Mysql分析-profile详解（转http://blog.csdn.net/ty_hf/article/details/54895026）
一.前言当我们要对某一条sql的性能进行分析时,可以使用它. Profiling是从 mysql5.0.3版本以后才开放的. 启动profile之后,所有查询包括错误的语句都会记录在内. 关闭会话 ...
Solr所有的查询解析器Query Parsers（转：http://blog.csdn.net/jiangchao858/article/details/53859731）
摘要: Solr除了支持常见的解析器之外,还有一些特殊用途的解析器,为了便于之后查阅,总结一下.本文整理自Solr官方文档. 解析器说明 Standard Query Parser Solr的标准查 ...
Spring+Hibernate双数据源测试Mysql集群读写分离（转自http://blog.csdn.net/hzw2312/article/details/9083519）
进行测试!环境就是SH框架.当然这只是一个简单的测试! 准备环境就是Spring框架跟Hibernate框架的整合! 然后在Spring配置文件中配置两个数据源.这里我采用的是从c3po数据源配置: ...
TCP协议发送SKB时ip_summed成员的设置 http://blog.csdn.net/justlinux2010/article/details/8508455
TCP协议发送SKB时ip_summed成员的设置分类: Linux内核2013-01-16 10:57 1457人阅读评论(0) 收藏举报 tcp_send_ack()函数是内核用来发送AC ...
QImage与QPixmap完全解析转：http://blog.csdn.net/jiong_1988/article/details/7472159
用Qt程序在手机上显示一幅图片对编程人员来说是再基础不过的一件事情了.那么先让大家看两段代码: //dangerous should not be used, cannot display earth ...
Canal监听mysql的binlog日志实现数据同步
Canal监听mysql的binlog日志实现数据同步 1. canal概述 1.1 canal简介 1.2 技术选型 1.3 原理分析 1.3.1 MySQL主备复制原理 1.3.2 canal原理 ...
Mysql基于binlog日志恢复数据
Mysql基于binlog日志恢复数据 1.Linux安装mysql https://blog.csdn.net/qq_44981526/article/details/126717005 可能遇到的 ...

数据采集之解析Mysql的binlog日志发送至Kafka实时消费（转：https://blog.csdn.net/liguohuabigdata/article/details/79472777）

本文采用Maxwell来实现实时解析mysql的binlog日志发送至kafka

2、配置并启动Maxwell

3、启动kafka

4、测试

数据采集之解析Mysql的binlog日志发送至Kafka实时消费（转：https://blog.csdn.net/liguohuabigdata/article/details/79472777）相关推荐

最新文章

热门文章