1、解压 maxwell-1.25.0.tar.gz 到/opt/module 目录tar -zxvf

tar -zxvf /opt/software/maxwell-1.25.0.tar.gz -C /opt/module/

2、在数据库中建立一个 maxwell 库用于存储 Maxwell 的元数据

 mysql -uroot -p123456

mysql> CREATE DATABASE maxwell ;分配一个账号可以操作该数据库
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456';分配这个账号可以监控其他数据库的权限
mysql> GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';

3、拷贝配置文件

cp config.properties.example config.properties

4、修改config.properties

producer=kafka
kafka.bootstrap.servers=hadoop202:9092,hadoop203:9092,hadoop204:9092
#需要添加
kafka_topic=gmall2020_db_m
# mysql login info
host=hadoop202
user=maxwell
password=123456
#需要添加 后续初始化会用
client_id=maxwell_1

注意：默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱binlog 的顺序

如果要提高并行度，首先设置 kafka 的分区数>1,然后设置 producer_partition_by 属性

可选值 producer_partition_by=database|table|primary_key|random| column

5、在/home/atguigu/bin 目录下编写 maxwell.sh 启动脚本

vim /home/user/bin/maxwell.sh
/opt/module/maxwell-1.25.0/bin/maxwell --config /opt/module/maxwell-1.25.0/config.properties >/dev/null 2>&1 &

6、授予执行权限

sudo chmod +x /home/user/bin/maxwell.sh

7、运行启动程序

maxwell.sh

安装 Maxwell相关推荐

使用maxwell实时同步mysql数据到kafka
一.软件环境: 操作系统:CentOS release 6.5 (Final) java版本: jdk1.8 zookeeper版本: zookeeper-3.4.11 kafka 版本: kafka ...
大数据工具Maxwell的使用
1.Maxwell简介 Maxwell 是由美国Zendesk公司开源,用Java编写的MySQL变更数据抓取软件.它会实时监控Mysql数据库的数据变更操作(包括insert.update.dele ...
Maxwell 的使用
Maxwell 的使用 1.Maxwell介绍 Maxwell介绍Maxwell是由美国zendesk开源,用java编写的Mysql实时抓取软件,其抓取的原理也是基于binlog. 2.Maxwel ...
大数据之MaxWell
文章目录第1章 Maxwell简介 1.1 Maxwell概述 1.2 Maxwell输出数据格式第2章 Maxwell原理 2.1 MySQL二进制日志 2.2 MySQL主从复制 2.3 Ma ...
CentOS7 部署 Maxwell
CentOS7 部署 Maxwell 安装Maxwell 配置MySQL 启用 MySQL Binlog MySQL Binlog 模式查看是否成功创建 Maxwell 所需数据库和用户配置Ma ...
Maxwell 配置实时将MySQL数据同步到Kafka
文章目录环境准备安装maxwell 下载地址安装创建元数据存放数据库被同步的数据库上创建用于数据复制的账号,并授权配置mysql同步到kafka任务运行任务全表同步可能遇到的问题 M ...
Docker安装常用软件/JAVA/大数据
Docker安装常用软件文章目录 Docker安装常用软件一.Docker安装 1. Windows安装Docker Desktop 2. Centos安装Docker 二.大数据组件安装 1. ...
【采集项目-（4)业务数据采集】
安装MySQL 详见[安装Docker][Docker安装MySQL] 业务数据模拟 1)在hadoop102的/opt/module/目录下创建db_log文件夹 [atguigu@hadoop10 ...
大数据架构选型与设计
大数据架构选型与设计 1.1 如何构建大数据平台? 1.1.1 数据库与ER建模 1.1.1.1 数据库(DataBase) 数据库是按照数据结构来组织.存储和管理数据的仓库,是一个长期存储在计算机内 ...
大数据智慧出行开发第一周：智慧出行底层数据架构剖析纵览全局
第一周:智慧出行底层数据架构剖析纵览全局 0.大数据环境前置准备一.文档说明为了统一我们的操作系统与软件环境,我们统一课前基本软件环境,实现全程学习当中的软件版本都是一致的二.VmWare与li ...

安装 Maxwell

1、解压 maxwell-1.25.0.tar.gz 到/opt/module 目录tar -zxvf

2、在数据库中建立一个 maxwell 库用于存储 Maxwell 的元数据

3、拷贝配置文件

4、修改config.properties

5、在/home/atguigu/bin 目录下编写 maxwell.sh 启动脚本

6、授予执行权限

7、运行启动程序

安装 Maxwell相关推荐

最新文章

热门文章