Kafka 命令行工具 kcat/kafkacat

2024-06-07 18:20:07

简介

kcat，又称为 kafkacat，是一款非 JVM 的 Kafka 消息生产和消费的命令行工具，适用于 Kafka 0.8 及以上版本。

github地址：
https://github.com/edenhill/kcat

生产者模式：kcat 从标准输入读取数据，-D 指定分割符，把数据发送到Kafka 集群，-b 指定集群地址， -t 指定topic名称， -p 指定分区

消费者模式：kcat 从指定的 topic 和 partition 消费数据，并打印到标准输出。

kcat 还支持打印 Kafka 集群的状态，topics，pairtions 信息。

安装方式

1. Ubuntu 环境

sudo apt-get update
sudo apt-get install kafkacat

2. MacOS 环境

brew install kcat

3. 从源码编译安装

git clone https://github.com/edenhill/kcat.git
cd kcat
./configure
make
make install

使用

Ubuntu 中使用 kafkacat, 在 MacOS 中使用 kcat, 如果是源码方式安装也是使用 kcat

1. 生产者

常用参数：
-P: 说明以生产者模式运行
-b : Kafka集群地址，端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-z: 压缩格式，如snappy

示例：
读取 /var/log/syslog 文件的数据，数据写到“syslog” 主题

tail -f /var/log/syslog | kafkacat -b mybroker -t syslog -P

2. 消费者

常用参数：
-P: 说明以消费者模式运行
-b : Kafka集群地址，端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-J: 以 Json 格式打印数据

示例：

#消费 syslog 所有数据
kafkacat -C -b mybroker -t syslog#消费 syslog 最近2000条数据
kafkacat -C -b mybroker -t syslog -p 0 -o -2000 -e#消费 mytopic 指定时间戳的数据
kafkacat -b mybroker -C -t mytopic -o s@1568276612443 -o e@1568276617901#消费多个 topic
kafkacat -b mybroker -G mygroup topic1 topic2

3. Kafka信息查询

# 查询给定时间戳对应的 offset
kafkacat -b mybroker -Q -t mytopic:3:2389238523 -t mytopic2:0:18921841#打印 Kafka 集群所有元数据信息
kafkacat -L -b mybroker# 以 Json 格式打印 Kafka 集群所有元数据信息
kafkacat -b mybroker -L -J | jq .

Kafka 命令行工具 kcat/kafkacat相关推荐

kafka命令行操作大全
最近利用flink使用一个流式SQL处理平台,利用kafka, mysql, hive等组件比较多,命令行突然间需要操作一次记不住命令很麻烦,索性直接整理成笔记. 在 0.9.0.0 之后的 Kafk ...
kafka-consumer-groups.sh 命令行工具使用手册，附测试用例
kafka-consumer-groups 命令行工具使用手册该手册原文出自 $KAFKA_HOME\bin\windows\kafka-consumer-groups.bat --help 命令的 ...
Redis 笔记（16）— info 指令和命令行工具（查看内存、状态、客户端连接数、监控服务器、扫描大key、采样服务器、执行批量命令等）
Info 命令返回关于 Redis 服务器的各种信息和统计数值.通过给定可选的参数 section ,可以让命令只返回某一部分的信息. 1. 显示模块 server : 一般 Redis 服务器信息, ...
ATS中的命令行工具解读
下面是几个常用命令行工具,先截图,再描述在生成环境调试的命令 sudo gdb ./traffic_server -p $(pidof traffic_server) -batch -x [m ...
在vc6控制台程序中如何调用运行ImageMagick命令行工具
在http://www.imagemagick.org/script/index.php网站下载相应的执行文件,这里以下载ImageMagick-6.6.5-10-Q16-windows-static ...
如何运行ImageMagick的命令行工具
在http://www.imagemagick.org/script/index.php网站下载相应的执行文件,这里以下载ImageMagick-6.6.5-10-Q16-windows-static ...
构建现代化的命令行工具
文章源于 lambdas.dev 每当我们想要创建一个基于 NodeJS 的命令行工具时,就会衍生出一堆问题需要解决,比如如何准备开发环境,如何打包转译代码,如何使代码在转译后保持可调用的状态同时尽可 ...
WinCE中命令行工具Viewbin简介（查看nk.bin中包含的文件）
Viewbin是微软提供的一个命令行工具,在WinCE5.0和WinCE6.0中,可以在"/WINCE600/PUBLIC/COMMON/OAK/BIN/I386"找到他.View ...
懒人神器！一个创意十足的 Python 命令行工具
作者 | 写代码的明哥来源 | Python编程时光当听到某些人说 xx 库非常好用的时候,我们总是忍不住想要去亲自试试. 有一些库,之所以好用,是对一些库做了更高级的封闭,你装了这个库,就会附带 ...

最新文章

热门文章