借助KafkaTool在海量Kafka数据快速精准定位/查询目标数据

如何在海量的Kafka数据定位/查询精准到秒级的数据？

解决方案：Kafka命令 + KafkaTool

1. 使用Kafka命令定位Offset

sh ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list $ip:$port  -topic ${topic.name} -time $timestamp

参数说明：

$ip：Kafka服务IP。
$port：Kafka服务端口。
${topic.name}：要查询的主题。
$timestamp：要查询的时间点（时间戳进行转换的时候要精确到秒）。
其他说明：该命令在Kafka的bin目录下，所以需要跳转到该bin目录下执行该指令（已添加到环境变量除外）。

举例：我们要查询 topic 为 student，目标时间点在 2023-05-26 05:03:30 的数据，我们可以使用下面的命令：

上面例子查询结果，出现student 0 和 student 1 是因为 student 主题存在两个分区，所以查询出来是两个分区的Offset。

2. 使用KafkaTool条件过滤查询

① 选中要查询的分区；

② 在 Message 下框中，选择 “From Specific Offset”；

③ 在 offset 框中输入Kafka命令查询到的偏移量，比如：2566669777；

④ 点击查询按键；

⑤ 查询到目标数据。

借助KafkaTool在海量Kafka数据快速精准定位/查询目标数据相关推荐

阿里云重磅发布云拨测产品：深度挖掘数据，精准定位 IT 问题
随着中国数字化经济的蓬勃发展,越来越多的企业大力发展线上业务.例如,某传媒机构开设新闻资讯网站,并在网站运营维护上每年支出超过500万元:某零售商开设电子商务服务网站,每年在网站运营维护上的支出费用超 ...
是什么能让 APP 快速精准定位到我们的位置？
本文作者:smallyang,腾讯 IEG 开发工程师什么是geohash?它的原理是什么?它帮助我们解决了哪些痛点,本文为你娓娓道来. 本文包含以下内容,阅读完需要约10分钟: 我们日常生活中遇到 ...
Excel——快速定位到目标数据所在位置
快速定位到目标区域(在同一个工作簿中,可以利用名称框快速定位到目标区域): 1.在名称框中直接输入单元格名称,回车即可 2.选取目标区域-在名称框中定义一个名称-然后可以在其他表中的名称框中输入自定义 ...
获取股票数据【使用JQData查询行情数据、财务指标、估值指标】
了解股票: 在上一次量化小科普[什么是量化?常用的股票量化指标.如何搭建量化交易系统]对于量化的概念有了一个基本认识,其中量化的主体在这门课程的学习中是"股票",而当别人问你:&q ...
php pdo 判断数据条数据,PDO一次查询一行数据
这篇文章主要介绍的内容是关于PDO一次查询一行数据,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下<?php require 'pdo_edu_config.php'; try{ ...
mysql mysql_row 整行数据_PHP使用mysql_fetch_row查询获得数据行列表的方法，phpmysql_fetch_row_PHP教程...
PHP使用mysql_fetch_row查询获得数据行列表的方法,phpmysql_fetch_row 本文实例讲述了PHP使用mysql_fetch_row查询获得数据行列表的方法.分享给大家供大家 ...
mysql pdo 查询一条数据,使用 PDO 关联查询 MySQL 数据
使用pdo关联查询mysql数据 try { $pdo = new PDO('mysql:host=localhost;dbname=test;', 'root', '123456'); // 0.等 ...
mysql前一天的数据_mysql查询前一天数据-mysql根据时间查询前一天数据-吾爱编程网...
今天一朋友说有个需求是mysql查询前一天的数据,然后进行数据同步,接下来吾爱编程为大家介绍一下关于mysql根据时间查询前一天数据的方法,有需要的小伙伴可以参考一下: 1.date格式:select ...
java 查询大批量数据内存溢出_mybatis查询大量数据内存溢出解决办法
更多内容请浏览本人博客平常使用mybatis时并没有考虑内存问题,但今天遇到一件事情是一次需要查询的数据量很大,直接导致系统oom,所以对需要大量查询的sql做了如下修改... 直接上代码 @Aut ...

借助KafkaTool在海量Kafka数据快速精准定位/查询目标数据

如何在海量的Kafka数据定位/查询精准到秒级的数据？

1. 使用Kafka命令定位Offset

2. 使用KafkaTool条件过滤查询

借助KafkaTool在海量Kafka数据快速精准定位/查询目标数据相关推荐

最新文章

热门文章