kafka0.9 java commit_kafka提交offset失败
客户端消费配置列表:
client.id=mam-uap-sink-client
key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=org.apache.kafka.common.serialization.StringDeserializer
enable.auto.commit=true
auto.offset.reset=earliest
send.buffer.bytes=131072
receive.buffer.bytes=32768
auto.commit.interval.ms=10000
heartbeat.interval.ms=6000
session.timeout.ms=60000
request.timeout.ms=80000
connections.max.idle.ms=540000
reconnect.backoff.ms=50
retry.backoff.ms=100
metadata.max.age.ms=300000
kafka客户端版本
default"/>
现在能消费到消息,就是一直重复消费,后台看到了下一直报错:
2016-07-28 05:44:53,440 ERROR [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Error ILLEGAL_GENERATION occurred while committing offsets for group mam-uap-event-sink-1
2016-07-28 05:44:53,440 WARN [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Auto offset commit failed: Commit cannot be completed due to group rebalance
2016-07-28 05:44:53,477 ERROR [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Error ILLEGAL_GENERATION occurred while committing offsets for group mam-uap-event-sink-1
2016-07-28 05:44:53,477 WARN [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Auto offset commit failed:
2016-07-28 05:44:53,514 INFO [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)- Attempt to join group mam-uap-event-sink-1 failed due to unknown member id, resetting and retrying.
是专线nat到别人内网的kafka列表。
求助这一般是什么原因?
kafka0.9 java commit_kafka提交offset失败相关推荐
- kafka自动提交offset失败:Auto offset commit failed
今天在服务日志中观察数据的消费情况时,发现了一个如下的警告,而且每隔几秒就会出现一次,虽然只是个警告, Auto offset commit failed for group order_group: ...
- kafka0.9 java commit_Kafka 0.9 新消费者API
kafka诞生之初,它自带一个基于scala的生产者和消费者客户端.但是慢慢的我们认识到这些API有很多限制.比如,消费者有一个"高级"API支持分组和异常控制,但是不支持很多更复 ...
- Kafka3.0 提交offset方式
文章目录 offset 的默认维护位置 自动提交 offset 手动提交 offset offset 的默认维护位置 Kafka0.9版本之前,consumer默认将offset保存在Zookeepe ...
- springboot配置手动提交_kafka教程-springboot消费者-手动提交offset
介绍 自动提交 offset 十分简介便利,但由于其是基于时间提交的,开发人员难以把握offset 提交的时机. 因此 Kafka 还提供了 手动提交 offset 的 API. 手动提交 offse ...
- Kafka:Consumer手动提交offset
在上一篇博客中介绍了使用Consumer订阅多个Topic或者多个Partition: Kafka:Consumer订阅 在上一篇博客的测试样例中,Consumer都是自动提交offset,这是通过下 ...
- python kafka offset自动提交_Spring-Kafka —— 实现批量消费和手动提交offset
spring-kafka的官方文档介绍,可以知道自1.1版本之后, @KafkaListener开始支持批量消费,只需要设置batchListener参数为true 把application.yml中 ...
- 解决IDEA GIT密码输入错误后,报Authentication failed ... 不再弹出输入框,提交更新失败
IDEA GIT密码输入错误后,不再弹出输入框,提交更新失败,此时可以到windows凭据中去修改. 方法一: 开始菜单 >> 点击用户头像 >> 在左侧选择"管理你 ...
- 【Kafka】Flink 消费 kafka 部分 分区 一直不提交 offset
文章目录 1.概述 1.1 查看消费组 1.2 检测topic 1.3 内置topic 1.4 flink数据监控 1.5 提交offset指标 M.扩展 1.概述 一个环境,突然发现,Flink消费 ...
- 怎样通过Java程序提交yarn的mapreduce计算任务
因为项目需求,须要通过Java程序提交Yarn的MapReduce的计算任务.与一般的通过Jar包提交MapReduce任务不同,通过程序提交MapReduce任务须要有点小变动.详见下面代码. 下面 ...
最新文章
- e.getMessage 为空NULL
- spingboot集成webSocket
- 「BZOJ2654」tree
- C#上传文件的一个实现
- HDU 4393 Throw nails [水题]
- asp.net 页面数据导入word模板
- jQuery EasyUI API 中文文档 - ValidateBox验证框
- bzoj3262: 陌上花开 树套树
- 使用mongoose-paginate-v2查询缓慢问题
- Atitit 人员招募之道 attilax著
- matlab二重定积分_MATLAB计算二重数值积分(dblquad)
- 盘点那些年火过的php建站系统
- 支付宝 ACQ.TRADE_NOT_EXIST 解决方案
- 史上最清晰的雷霆战机游戏开发全过程(基于java,素材和源码均齐全)
- HTML CSS画一朵向日葵
- 车路协同 智能路侧决策系统边缘计算系统功能技术要求
- 初次联系导师短信模板_上海大学考研复试:如何联系导师
- win10系统正在锁定计算机,怎样一息屏电脑就上锁win10
- 利用C#直接与MySQL数据库建立交互
- 为知笔记插件朗读器关不了怎么办?/怎么才能关闭为知笔记的朗读器插件
热门文章
- #研发解决方案#分布式并行计算调度和管理系统Summoner
- ORA-00904 的解决
- 微服务实战(五):落地微服务架构到直销系统(构建高性能大并发系统)
- 源码|批量执行invokeAll()多选一invokeAny()
- Alpha 冲刺报告(10/10)
- GO语言使用的几个注意点
- 大家一起和snailren学java-(一)对象导论
- Vmware iSCSi 配置
- TFS的Web门户工作项(七)
- Flex的NumericStepper控件