kafka consumer 如何设置每次重启时从最新数据开始读取

最近在做实时报警的机制，显然我需要程序每次重启时都读取最新数据。但是寻找了半天无论是kafka的java客户端还是python客户端都没有这样的设置参数。没办法只能自己实现了，思路有两种。

直接操作zookeeper，因为kafka默认的consumer以及offset的信息是存贮在zookeeper中的，我们只要将zookeeper中相应的文件夹删掉，再连接kafka时我们就像新的consumer一样，会从最新数据开始读取
使用seek_to_end函数，seek_to_end会直接将位置定位到最新数据。但是在之前需要poll一次数据，不然会报没有分配partition的错误。这说明我们的框架也是懒加载的，只有在具体poll数据的时候才会分配partition。kafka-pyhton的样例代码如下：
from kafka import KafkaConsumer consumer = KafkaConsumer('test', group_id='zhy_flow', max_poll_records=10) res = consumer.poll(10) consumer.seek_to_end() for msg in consumer: print (msg)

kafka consumer 如何设置每次重启时从最新数据开始读取相关推荐

pm2 部署 nuxt3.js 项目并设置服务器重启时项目自动重启
前言众所周知,nuxt3.js是基于vue开发ssr,seo的项目比较好的框架,那么开发完成项目,如何部署nuxt项目也是比较重要的,接下来就记录一下我在开发中是如何部署的. 我之前写过一篇vue ...
java consumer.poll_java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录...
我创建了多线程消费者应用程序来处理各种分区. 查看各种博客,我开始了解'max.poll.records'属性,以便控制来自给定主题,分区的记录集.(因此它可以很快从记录循环中出来,因此调用cons. ...
jquery+bootstrap实现tab切换, 每次切换时都请求数据, 点击提交分别向不同的地址提交数据...
今天一个朋友叫帮做一个tab切换, 每一个tab内容区域都是从后台取出的数据, 这些数据要用表格的形式显示处理, 并且表格的内容区域可以修改, 如下所示: 例子查看请演示查看. 截图如图所示: 实现步 ...
bootstrap tabale 点击_jquery+bootstrap实现tab切换, 每次切换时都请求数据, 点击提交分别向不同的地址提交数据...
今天一个朋友叫帮做一个tab切换, 每一个tab内容区域都是从后台取出的数据, 这些数据要用表格的形式显示处理, 并且表格的内容区域可以修改, 如下所示: 例子查看请演示查看. 截图如图所示: 实现步 ...
解决win10 安装dnw驱动，每次重启都得禁用数字签名。解决命令行操作，设置元素数据时出错。电脑关闭Secure Boot
解决win10 安装驱动,每次重启都得禁用数字签名第一步.将电脑关闭Secure Boot 以我的华硕笔记本电脑为例: 1.重启电脑,按住 F2 进入 bios 模式.(其他电脑自行百度) 2.按 ...
使用spark.streaming.kafka.consumer.poll.ms和reconnect.backoff.ms解决spark streaming消费kafka时任务不稳定的问题
问题描述在用spark streaming程序消费kafka的数据时,遇到了一个神奇的现象:同样的数据量.相似的数据,在消费时,有些批次的数据在做map操作时神奇的多了40多秒,具体看下面的数据:在 ...
kafka配置文件中文乱码_使用kafka consumer api时，中文乱码问题
使用Intelli idea调试kafka low consumer时,由于broker存储的message有中文, idea中console端是可以正确显示的然后mvn package打包到服务器 ...
【Excel】设置每次双击Excel文件时，打开新的excel进程
当打开着excel文件,用Alt+Tab进行切换时,按一次会无法切换,要按两次Alt+Tab才行,非常不方便.(不知道如何修改此设置) 于是改了下,让excel每次打开时,打开新的excel进程,这样 ...
Kafka系列之：不重启kafka集群设置kafka topic数据保留时间
Kafka系列之:不重启kafka集群设置kafka topic数据保留时间一.kafka topic数据保留3天的bash命令二.查看kafka删除数据日志三.批量设置上千个topic保留3天 ...
Kafka Consumer端的一些解惑
2019独角兽企业重金招聘Python工程师标准>>> 最近一直忙着各种设计和文档,终于有时间来更新一点儿关于kafka的东西.之前有一篇文章讲述的是kafka Producer端的 ...

kafka consumer 如何设置每次重启时从最新数据开始读取

kafka consumer 如何设置每次重启时从最新数据开始读取相关推荐

最新文章

热门文章