kafka命令之消费者组

2024-04-14 06:48:01

kafka命令-消费者组相关查询及设置

查看消费者组
查看具体消费者组信息【partition、offset、lag、host等】
设置具体消费者组下topic offset
- offset部分重设策略

查看消费者组

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查看具体消费者组信息【partition、offset、lag、host等】

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group ${group_name}

设置具体消费者组下topic offset

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --execute --reset-offsets --to-latest --group ${consumer_group_name} --topic ${topic_name}

offset部分重设策略

–to-earliest：把位移调整到分区当前最小位移
–to-latest：把位移调整到分区当前最新位移
–to-current：把位移调整到分区当前位移
–to-offset ：把位移调整到指定位移处
–shift-by N：把位移调整到当前位移 + N处，注意N可以是负数，表示向前移动
–to-datetime ：把位移调整到大于给定时间的最早位移处，datetime格式是yyyy-MM-ddTHH:mm:ss.xxx
–by-duration ：把位移调整到距离当前时间指定间隔的位移处，duration格式是PnDTnHnMnS
–from-file ：从CSV文件中读取调整策略

kafka命令之消费者组相关推荐

大数据技术之kafka (第 3 章 Kafka 架构深入 ) 消费者组案例
1)需求:测试同一个消费者组中的消费者,同一时刻只能有一个消费者消费. 2)案例实操 (1)在 backupo01.backupo02 上修改/usr/local/hadoop/kafka/ka ...
Kafka——创建无消费者组的消费者消费订阅主题
前景最近在编写了一个websocket+kafka的推送订阅组件,类似之前的一篇wesocket+redis的推送订阅组件. 期间遇到了两个问题. 不停地组平衡由于每次订阅不同的主题都会去生成一个 ...
Kafka中的消费者组（Consumer Group）
1. 消费者组(Consumer Group) 消费者组是Kafka实现单播和广播两种消息模型的手段.同一个topic,每个消费者组都可以拿到相同的全部数据. 1.1 消费者多于分区数创建一个用于测 ...
Kafka中的消费者组(group)
1.kafka的发布-订阅模式和队列模式可通过消费者组实现,如果所有消费者都在一个消费者组里则是队列模式,如果所有消费者分布在不同组中则是发布-订阅模式. 2.队列模式下,允许消费者组中多个 ...
Kafka 消费者组重平衡（Rebalance）
Kafka Consumer Reblance 消费者组的重平衡就组内的消费者,对消费那些主题分区达成一致的过程,Kafka会尽量保证分配的均匀. consumer group 的rebalance ...
Redis Stream的消费者组介绍
Stream是Redis 5.0引入的一种新数据类型,它以一种抽象的方式来构建日志结构的数据.本文主要介绍Redis Streams的消费者组相关的信息. 1 什么是消费者组在某些问题中,我们想要做 ...
Kafka命令介绍和使用以及案例
资料所有脚本 [root@localhost kafka]# ls bin/ -al 总用量 136 drwxr-xr-x. 3 root root 4096 3月 10 2019 . drwxr- ...
消费者组 Consumer Group 和重平衡 Rebalance
kafka设计了consumer group: 具有可扩展性和容错性的consumer机制,consumer group有3个特性: 1. Consumer Group 下可以有一个或多个 Consu ...
kafka 基础概念、命令行操作（查看所有topic、创建topic、删除topic、查看某个Topic的详情、修改分区数、发送消息、消费消息、查看消费者组、更新消费者的偏移位置）
文章目录前言 1. 基础概念 Broker Producer Consumer Consumer Group Topic Partition Replica 2. 命令行操作 2.1 查看所有top ...

最新文章

热门文章