kafka跨集群同步方案

Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。

Kafka镜像即已有Kafka集群的副本。使用MirrorMaker工具创建从源Kafka集群（source cluster）到目标Kafka集群（target cluster）的镜像。该工具通过Kafka consumer从源Kafka集群消费数据，然后通过一个内置的Kafka producer将数据重新推送到目标Kafka集群。

首先搭建数据源集群S集群和目标集群T集群，也就是把S集群的kafka数据复制到目标集群T上

一、创建consumer配置文件：consumer-wsm.properties

　　zookeeper.connect=f14cp-sc-hdp002:2181,f14cp-sc-hdp005:2181,f14cp-sc-hdp018:2181group.id=groupwsm-01zookeeper.connection.timeout.ms=6000rebalance.max.retries=5rebalance.backoff.ms=1200auto.offset.reset=smallest　　注意：配置的参数根据不同版本略微不同

二、创建producer配置文件：producer-wsm.properties

　　metadata.broker.list = f14cp-kf1-hdp01:6667,f14cp-kf1-hdp02:6667,f14cp-kf1-hdp03:6667 　　　　value.serializer=org.apache.kafka.common.serialization.ByteArraySerializer 　　　　key.serializer=org.apache.kafka.common.serialization.ByteArraySerializer

　　注意：配置的参数根据不同版本而不同

三、执行命令

bin/kafka-mirror-maker.sh --consumer.config consumer-wsm.properties --num.streams  5  --producer.config producer-wsm.properties --num.producers 3 --queue.size 20000  --whitelist 'topic1,topic2,topic3'

MirrorMaker参数说明：

可以用命令kafka-mirror-maker.sh help 查看

whitelist 白名单 　　 要同步的那些主题（topic）列表blacklist 黑名单　　　不要同步的那些主题（topic）列表queue.size　　　　　　consumer到producer中间的缓存大小,默认10000　--new.producer      使用新的生产者，此时同步速度会大大提高,配置文件producer中的metadata.list应改为bootstrap.servers

转载于:https://www.cnblogs.com/ygwx/p/5235779.html

kafka跨集群同步方案相关推荐

Elasticsearch 跨网络、跨集群同步选型指南
1.两个同步实战问题问题1:我想从目前的阿里云上6.7版本的es商业版,迁移到自己的7.10的自建环境,证书不一样,无法远程无法ccr,有没有实时同步的工具呀?还是只能用logstash ? 问题 ...
使用EMR Spark Relational Cache跨集群同步数据
背景 Relational Cache是EMR Spark支持的一个重要特性,主要通过对数据进行预组织和预计算加速数据分析,提供了类似传统数据仓库物化视图的功能.除了用于提升数据处理速度,Relati ...
Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践
序言 Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案.其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster, ...
Kafka MirrorMaker 跨集群同步工具
一.MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具.该工具从源集群中消费并生产到目标群集.这种镜像的常见用例是在另一个数据中心提供副 ...
如何使用 K8s 实现跨集群管理，这篇文章告诉你了！赶紧收藏
一.背景集群联邦(Federation)的目的是实现单一集群统一管理多个Kubernetes集群的机制,这些集群可能是跨地区(Region),也可能是在不同公有云供应商上,或者是公司内部自行建立的集 ...
08 Confluent_Kafka权威指南第八章：跨集群数据镜像
文章目录 CHAPTER 8 Cross-Cluster Data Mirror 跨集群数据镜像 Use Cases of Cross-Cluster Mirroring 跨集群镜像用例 Multic ...
Redis学习笔记（11）——Redis缓存集群方案
为什么80%的码农都做不了架构师?>>> 由于单台Redis服务器的内存管理能力有限,使用过大内存的Redis又会使得服务器的性能急剧下降,一旦服务器发生故障将会影响更大范围业 ...
（十七）java版spring cloud+spring boot 社交电子商务平台-spring+springmvc+kafka分布式消息中间件集成方案...
电子商务平台源码请加企鹅求求:一零三八七七四六二六.kafka消息平台使用spring+kafka的集成方案,详情如下: 使用最高版本2.1.0.RELEASE集成jar包:spring-integr ...
Redis集群方案及实现 - yfk的专栏 - 博客频道 - CSDN.NET
Redis集群方案及实现 - yfk的专栏 - 博客频道 - CSDN.NET yfk的专栏学习&记录&分享目录视图摘要视图订阅 [公告]博客系统优化升级 U ...

kafka跨集群同步方案

kafka跨集群同步方案相关推荐

最新文章

热门文章