1.概述

转载：https://www.cnblogs.com/foolaround/articles/14676070.html

有时，当我们使用 Kafka 时，可能会发现自己需要手动检查主题的底层日志。无论你只是好奇 Kafka 内部还是你需要调试一个问题并验证内容，kafka-dump-log 命令都是你的朋友。下面介绍如何使用这个命令，该示例的主题名为 example：

Copy

kafka-dump-log \
--print-data-log \
--files  ./iteblog/kafka/data/example-0/00000000000000000000.log •--print-data-log 标记指定打印 log 里面的数据；
•--files 标记是必选项，可以是逗号分隔的文件列表。

如果想查看 kafka-dump-log 命令的所有支持的选项，可以使用 --help。运行上面的命令可以得到以下的输出：

Dumping ./var/lib/kafka/data/example-0/00000000000000000000.log
Starting offset: 0
baseOffset: 0 lastOffset: 0 count: 1 baseSequence: -1 lastSequence: -1 producerId: -1 producerEpoch: -1 partitionLeaderEpoch: 0 isTransactional: false isControl: false position: 0 CreateTime: 1599775774460 size: 81 magic: 2 compresscodec: NONE crc: 3162584294 isvalid: true
| offset: 0 CreateTime: 1599775774460 keysize: 3 valuesize: 10 sequence: -1 headerKeys: [] key: 887 payload: -2.1510235
baseOffset: 1 lastOffset: 9 count: 9 baseSequence: -1 lastSequence: -1 producerId: -1 producerEpoch: -1 partitionLeaderEpoch: 0 isTransactional: false isControl: false position: 81 CreateTime: 1599775774468 size: 252 magic: 2 compresscodec: NONE crc: 2796351311 isvalid: true
| offset: 1 CreateTime: 1599775774463 keysize: 1 valuesize: 9 sequence: -1 headerKeys: [] key: 5 payload: 33.440664
| offset: 2 CreateTime: 1599775774463 keysize: 8 valuesize: 9 sequence: -1 headerKeys: [] key: 60024247 payload: 9.1408728
| offset: 3 CreateTime: 1599775774463 keysize: 1 valuesize: 9 sequence: -1 headerKeys: [] key: 1 payload: 45.348946
| offset: 4 CreateTime: 1599775774464 keysize: 6 valuesize: 10 sequence: -1 headerKeys: [] key: 241795 payload: -63.786373
| offset: 5 CreateTime: 1599775774465 keysize: 8 valuesize: 9 sequence: -1 headerKeys: [] key: 53596698 payload: 69.431393
| offset: 6 CreateTime: 1599775774465 keysize: 8 valuesize: 9 sequence: -1 headerKeys: [] key: 33219463 payload: 88.307875
| offset: 7 CreateTime: 1599775774466 keysize: 1 valuesize: 9 sequence: -1 headerKeys: [] key: 0 payload: 39.940350
| offset: 8 CreateTime: 1599775774467 keysize: 5 valuesize: 9 sequence: -1 headerKeys: [] key: 78496 payload: 74.180098
| offset: 9 CreateTime: 1599775774468 keysize: 8 valuesize: 9 sequence: -1 headerKeys: [] key: 89866187 payload: 79.459314

dump-log 命令提供了大量信息。您可以清楚地看到每个记录的键、payload (值)、偏移量和时间戳。

需要注意的是，上面输出的数据来自仅包含10条消息的演示主题，因此对于真实主题，将有更多的数据。

另外，在本例中，主题的键和值都是字符串。如果要使用非字符串的键或值类型，可以在运行 kafka-dump-log 命令的时候加上 --key-decoder-class 或 --value-decoder-class 标记即可。

【kafka】kafka topic Dump log相关推荐

【kafka】kafka 2.3 版本的kafka topic 分区扩容
文章目录 1.概述 2 .AdminZkClient扩容 1.概述首先参考文章:[kafka]kafka 0.10以及1.x版本的kafka topic 分区扩容因为需要所以需要一个程序对kafk ...
【kafka】kafka log 存储时间小于 offset 存储时间 offset存在但是消费不到
文章目录 1.概述 1.概述在文章 [kafka]kafka 消费速度小于日志清理速度 (kafka数据被清理了)会发生什么 auto.offset.reset 参数中我们知道了,数据消费慢于 ...
【kafka】Kafka Fetch Session 剖析
1.概述转载:https://www.cnblogs.com/smartloli/p/14352489.html 1.概述最近有同学留言在使用Kafka的过程中遇到一些问题,比如在拉取的Topic ...
【Kafka】Kafka 如果动态不停止的情况下修改消费组 offset
文章目录 1.概述 2.方案1 3.方案2 1.概述测试点:有人遇到这样的情况,他一个消费者正在消费一个环境的topic,然后他想启动另外一个消费组,但是是使用了同一个消费组,这个去更改消费组of ...
【kafka】kafka 查看 GroupCoordinator
文章目录 1.概述 2.GroupCoordinatorRequest 3.AdminClient 本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 1. ...
【kafka】kafka duplicate brokers in replica assignment
1.概述 kafka报错 duplicate brokers in replica assignment 请参考:[kafka]kafka 0.10以及1.x版本的kafka topic 分区扩容
【kafka】kafka 消费速度小于日志清理速度（kafka数据被清理了）会发生什么 auto.offset.reset 参数
文章目录 1.概述 2.segment 本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 1.概述因为遇到了这个问题[Kafka]Kafka Recor ...
【kafka】kafka record is corrupt（记录损坏）
1.概述转载:kafka消费者无法消费异常我忘记我为啥遇到这个问题了,转载一下今天被一个kafka消费异常折磨了一天,头差点炸了,还好最后解决了它异常:服务器:record is corrup ...
【kafka】Kafka Producer Sticky Partitioner kafka 生产者粘性分区器
1.概述转载:[译]Kafka Producer Sticky Partitioner 最近事情多有点犯懒,依然带来一篇译文:Apache Kafka Producer Improvements w ...
【kafka】Kafka扩容
1.概述参考:[Kafka]Kafka集群扩展以及重新分布分区 1.1 topic修改(replicats-factor)副本个数假如初始时chatmessage为一个副本,为了提高可用性,需要改 ...

【kafka】kafka topic Dump log

1.概述

【kafka】kafka topic Dump log相关推荐

最新文章

热门文章