客户端消费配置列表:

client.id=mam-uap-sink-client

key.deserializer=org.apache.kafka.common.serialization.StringDeserializer

value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

enable.auto.commit=true

auto.offset.reset=earliest

send.buffer.bytes=131072

receive.buffer.bytes=32768

auto.commit.interval.ms=10000

heartbeat.interval.ms=6000

session.timeout.ms=60000

request.timeout.ms=80000

connections.max.idle.ms=540000

reconnect.backoff.ms=50

retry.backoff.ms=100

metadata.max.age.ms=300000

kafka客户端版本

default"/>

现在能消费到消息,就是一直重复消费,后台看到了下一直报错:

2016-07-28 05:44:53,440 ERROR [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Error ILLEGAL_GENERATION occurred while committing offsets for group mam-uap-event-sink-1

2016-07-28 05:44:53,440 WARN  [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Auto offset commit failed: Commit cannot be completed due to group rebalance

2016-07-28 05:44:53,477 ERROR [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Error ILLEGAL_GENERATION occurred while committing offsets for group mam-uap-event-sink-1

2016-07-28 05:44:53,477 WARN  [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)- Auto offset commit failed:

2016-07-28 05:44:53,514 INFO  [UAPEventDispatcher-consumer-starter] (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)- Attempt to join group mam-uap-event-sink-1 failed due to unknown member id, resetting and retrying.

是专线nat到别人内网的kafka列表。

求助这一般是什么原因?

kafka0.9 java commit_kafka提交offset失败相关推荐

  1. kafka自动提交offset失败:Auto offset commit failed

    今天在服务日志中观察数据的消费情况时,发现了一个如下的警告,而且每隔几秒就会出现一次,虽然只是个警告, Auto offset commit failed for group order_group: ...

  2. kafka0.9 java commit_Kafka 0.9 新消费者API

    kafka诞生之初,它自带一个基于scala的生产者和消费者客户端.但是慢慢的我们认识到这些API有很多限制.比如,消费者有一个"高级"API支持分组和异常控制,但是不支持很多更复 ...

  3. Kafka3.0 提交offset方式

    文章目录 offset 的默认维护位置 自动提交 offset 手动提交 offset offset 的默认维护位置 Kafka0.9版本之前,consumer默认将offset保存在Zookeepe ...

  4. springboot配置手动提交_kafka教程-springboot消费者-手动提交offset

    介绍 自动提交 offset 十分简介便利,但由于其是基于时间提交的,开发人员难以把握offset 提交的时机. 因此 Kafka 还提供了 手动提交 offset 的 API. 手动提交 offse ...

  5. Kafka:Consumer手动提交offset

    在上一篇博客中介绍了使用Consumer订阅多个Topic或者多个Partition: Kafka:Consumer订阅 在上一篇博客的测试样例中,Consumer都是自动提交offset,这是通过下 ...

  6. python kafka offset自动提交_Spring-Kafka —— 实现批量消费和手动提交offset

    spring-kafka的官方文档介绍,可以知道自1.1版本之后, @KafkaListener开始支持批量消费,只需要设置batchListener参数为true 把application.yml中 ...

  7. 解决IDEA GIT密码输入错误后,报Authentication failed ... 不再弹出输入框,提交更新失败

    IDEA GIT密码输入错误后,不再弹出输入框,提交更新失败,此时可以到windows凭据中去修改. 方法一: 开始菜单 >> 点击用户头像 >> 在左侧选择"管理你 ...

  8. 【Kafka】Flink 消费 kafka 部分 分区 一直不提交 offset

    文章目录 1.概述 1.1 查看消费组 1.2 检测topic 1.3 内置topic 1.4 flink数据监控 1.5 提交offset指标 M.扩展 1.概述 一个环境,突然发现,Flink消费 ...

  9. 怎样通过Java程序提交yarn的mapreduce计算任务

    因为项目需求,须要通过Java程序提交Yarn的MapReduce的计算任务.与一般的通过Jar包提交MapReduce任务不同,通过程序提交MapReduce任务须要有点小变动.详见下面代码. 下面 ...

最新文章

  1. e.getMessage 为空NULL
  2. spingboot集成webSocket
  3. 「BZOJ2654」tree
  4. C#上传文件的一个实现
  5. HDU 4393 Throw nails [水题]
  6. asp.net 页面数据导入word模板
  7. jQuery EasyUI API 中文文档 - ValidateBox验证框
  8. bzoj3262: 陌上花开 树套树
  9. 使用mongoose-paginate-v2查询缓慢问题
  10. Atitit 人员招募之道 attilax著
  11. matlab二重定积分_MATLAB计算二重数值积分(dblquad)
  12. 盘点那些年火过的php建站系统
  13. 支付宝 ACQ.TRADE_NOT_EXIST 解决方案
  14. 史上最清晰的雷霆战机游戏开发全过程(基于java,素材和源码均齐全)
  15. HTML CSS画一朵向日葵
  16. 车路协同 智能路侧决策系统边缘计算系统功能技术要求
  17. 初次联系导师短信模板_上海大学考研复试:如何联系导师
  18. win10系统正在锁定计算机,怎样一息屏电脑就上锁win10
  19. 利用C#直接与MySQL数据库建立交互
  20. 为知笔记插件朗读器关不了怎么办?/怎么才能关闭为知笔记的朗读器插件

热门文章

  1. #研发解决方案#分布式并行计算调度和管理系统Summoner
  2. ORA-00904 的解决
  3. 微服务实战(五):落地微服务架构到直销系统(构建高性能大并发系统)
  4. 源码|批量执行invokeAll()多选一invokeAny()
  5. Alpha 冲刺报告(10/10)
  6. GO语言使用的几个注意点
  7. 大家一起和snailren学java-(一)对象导论
  8. Vmware iSCSi 配置
  9. TFS的Web门户工作项(七)
  10. Flex的NumericStepper控件