Kafka 关于消费者组名Consumer Group

由于本人是在Windows个人机上搭建了一个Kafka服务。所以使用中遇到了一个棘手的问题，也是第一次使用Kafka消息队列，所以对其核心知识知之甚少。

一个困扰了些许时日的问题，经常因为log文件正被另一个进程使用中，而导致Kafka挂掉。

经过排查，最后发现是由于有多个工程在连接Kafka服务充当消费者，而消费者组名是相同的，因为我这里是有很多topic，多个消费者工程针对不同topic在同时运行的时候，Kafka会把组名相同的log写入同一个log文件。然而Windows机器又不允许多个进程同时搞一个log文件，所以经常导致服务挂掉。

解决方法：如果业务实际的确存在多个多个消费者同时消费不同的topic（同一个topic的消息是不能被多个消费者重复读取的），各个消费者工程，可以选择不同的Consumer Group名称（我没有修改默认配置，应该是最多能接受50个消费者组），如此各个消费者组的运行log就不会写入同一个log文件，避开了Windows的文件机制。

Kafka 关于消费者组名Consumer Group相关推荐

Kafka中的消费者组（Consumer Group）
1. 消费者组(Consumer Group) 消费者组是Kafka实现单播和广播两种消息模型的手段.同一个topic,每个消费者组都可以拿到相同的全部数据. 1.1 消费者多于分区数创建一个用于测 ...
Kafka系列4-基本概念及消费者组（Consumer Group）的理解
几个基本概念: Kafka是一个分布式流数据系统,使用Zookeeper进行集群的管理.与其他消息系统类似,整个系统由生产者.Broker Server和消费者三部分组成,生产者和消费者由开发人员编写 ...
【Kafka】消费者组 Consumer Group（三）
文章目录一.概念二.创建Topic 三.开启3个Consumer的消费者组Group (分区数量1 < 消费者数量3) 3.1 结论一:一个分区Partition只能被一个消费者抢占.(组内 ...
kafka 查看消费者组
用kafka-consumer-groups.sh 命令可以查看消费者组,其中console-consumer-89657是消费的时候如果不设置消费者组自动生成的默认组 [root@mypc01 co ...
kafka 创建消费者报错 consumer zookeeper is not a recognized option
在做kafka测试的时候,使用命令bin/kafka-console-consumer.sh --zookeeper 192.168.0.140:2181,192.168.0.141:2181 --t ...
Kafka(Go)教程(十一)---Consumer Group Rebalance
来自:指月 https://www.lixueduan.com 原文:https://www.lixueduan.com/post/kafka/11-consumer-group-rebalance/ ...
消费者组consumer group详解-Kafka从入门到精通（九）
上篇文章说了,kafka可以通过实现partitioner自定义分区,producer拦截器,拦截器是在producer发送消息之后,回调之前调用,里面主要重写两个方法,一个是onSend,可以重新定 ...
Kafka 消费者组 Rebalance 详解
Rebalance作用 Rebalance 本质上是一种协议,主要作用是为了保证消费者组(Consumer Group)下的所有消费者(Consumer)消费的主体分区达成均衡. 比如:我们有10个分 ...
redis 流 stream的使用总结 - 消费者组
本博客讲述如何使用redis中流stream的组简言 1. 消费者组(consumer group)允许用户将一个流从逻辑上分成多个不同的流,并让消费者组组下的消费者去处理组中的消息 2. 多个消费 ...

Kafka 关于消费者组名Consumer Group

Kafka 关于消费者组名Consumer Group相关推荐

最新文章

热门文章