大数据实时传输组件Maxwellmaxwell中遇到的问题

maxwell下载地址：https://github.com/zendesk/maxwell

maxwell主要为zip和tar.gz

下载maxwell 注意版本
maxwell-1.29.2.tar.gz以上是JDK11版本， maxwell-1.29.2.tar.gz是JDK1.8版本

安装时将tar.gz 解压，重命名

cd /opt
tar -zxvf maxwell-1.29.2.tar.gz
mv

配置maxwell只需一个配置文件

/opt/maxwell/config.properties

具体配置内容

producer=kafka
kafka.bootstrap.servers=master:9092,slave01:9092,slave02:9092
kafka_topic=%{database}_%{table}
#一般自定义一个和业务相关的静态的topic例如：topic_db
#也可定义动态topic 例如：%{database}_%{table}# mysql login info
host=slave03
user=maxwell
password=maxwell   #默认密码
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

maxwell启动报错unhandled character set ‘utf8mb3’

由于MySQL从 5.5.3 开始，用 utf8mb4 编码来实现完整的 UTF-8，其中 mb4 表示 most bytes 4，最多占用4个字节。而原来的utf8则被utf8mb3则代替。

一种解决方案是，将MySQL降级，重新安装5.5.3以下的版本。（代价太大一般不推荐）

另一种方法则是修改maxwell源码。
首先在github上下载maxwell对应版本的源码。链接：https://github.com/zendesk/maxwell
解压打开，找到有问题的类：com.zendesk.maxwell.schema.columndef.StringColumnDef，加上能识别utf8mb3的语句
（打开时要加载许多依赖所需时间久）

注意要配置使用jdk11，因为许多类在后续版本中已被抛弃

将utf8mb3加入识别

用打包好的maxwell-1.29.2.jar 替换/opt/maxwell/lib/maxwell-1.29.2.jar
重新启动maxwell即可

/opt/maxwell/bin/maxwell --config /opt/maxwell/config.properties --daemon

问题场景：
项目maven打包的时候报错There are test failures.，导致打包失败。
注意使用跳过测试模式

启动/opt/maxwell/bin/maxwell-bootstrap --database gmall --table cart_info --config /opt/maxwell/config.properties之前要先启动maxwell不然数据会阻塞

/opt/maxwell/bin/maxwell --config /opt/maxwell/config.properties --daemon

大数据实时传输组件Maxwellmaxwell中遇到的问题相关推荐

【大数据实时计算框架】Storm框架
一.大数据实时计算框架 1.什么是实时计算?流式计算? (一)什么是Storm? Storm为分布式实时计算提供了一组通用原语,可被用于"流处理"之中,实时处理消息并更新数据库.这 ...
大数据生态圈常用组件（二）：概括介绍、功能特性、适用场景
三更灯火五更鸡,正是男儿读书时. 小编整理了一些常用的大数据组件,使用场景及功能特性,希望对后浪有所帮助. 分类名称简介功能特点使用场景大数据存储 HDFS HDFS是一个分布式的文件系统, ...
大数据实时流计算详解
开篇词-攻克实时流计算难点,掌握大数据未来我曾任职于华为 2012 实验室高斯部门,负责实时分析型内存数据库 RTANA.华为公有云 RDS 服务的研发工作.目前,我专注于移动反欺诈解决方案的研发. ...
Druid：一个用于大数据实时处理的开源分布式系统——大数据实时查询和分析的高容错、高性能开源分布式系统...
转自:http://www.36dsj.com/archives/28590 Druid 是一个用于大数据实时查询和分析的高容错.高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分 ...
大数据智能交通调度_大数据技术在智能交通中的应用
龙源期刊网 http://www.qikan.com.cn 大数据技术在智能交通中的应用作者:庄斌来源:<名城绘> 2018 年第 04 期摘要:随着时代的发展和社会需求变化,现代智 ...
1. 大数据实时计算介绍
Spark Streaming,其实就是一种Spark提供的,对于大数据,进行实时计算的一种框架.它的底层,其实,也是基于我们之前讲解的Spark Core的.基本的计算模型,还是基于内存的大数据实时 ...
网易惠惠购物助手：大数据实时更新框架概述
一.需求是什么? 互联网中的许多应用都有数据实时更新的需求,比如网页搜索如何展示几分钟之前的新闻结果,购物搜索中价格.库存信息的实时更新.在大数据量的情况下,数据如何做到稳定及时的更新?本文以有道购物 ...
Spark项目实战:大数据实时流处理日志(非常详细)
实战概览一.实战内容二.大数据实时流处理分析系统简介 1.需求 2.背景及架构三.实战所用到的架构和涉及的知识 1.后端架构 2.前端框架四.项目实战 1.后端开发实战 1.构建项目 2.引入 ...
接近淘宝 80%的大数据实时计算平台，从0搭建的经验和坑
上周一,来自武汉的直播平台斗鱼TV宣布C轮融资,腾讯领投的 15 亿人民币,距其获得 B 轮1亿美元不到半年,也是大写的牛逼. 但小寻更关心他们的大数据架构,作为一个在 2 年多时间里崛起的公司,其流 ...

大数据实时传输组件Maxwellmaxwell中遇到的问题

大数据实时传输组件Maxwellmaxwell中遇到的问题相关推荐

最新文章

热门文章