kafka consumer:消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。
因为Kafka的broker是无状态的,所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset,意味着该consumer已经消费了该offset之前的所有数据。consumer可以通过指定offset,从topic的指定位置开始消费数据。consumer的offset存储在Zookeeper中。
offset:用来保存消费进度。offset表示在当前topic,当前groupID下消费到的位置。offset为earliest并不代表offset=1.在不进行过期配置的情况下,kafka消息默认7天时间就会过期。过期后其offset也就随之发生变化,使得用数字进行配置的消费进度并不准确。
1) earliest:自动重置到最早的offset。
2) latest:看上去重置到最晚的offset。
3) none:如果边更早的offset也没有的话,就抛出异常给consumer,告诉consumer在整个consumer group中都没有发现有这样的offset。
groupID: 一个字符串用来指示一组consumer所在的组。相同的groupID表示在一个组里。相同的groupID消费记录offset时,记录的是同一个offset 。 所以,此处需要注意,(1)如果多个地方都使用相同的groupid,可能造成个别消费者消费不到的情况(2)如果单个消费者消费能力不足的话,可以启动多个相同groupid的consumer消费,处理相同的逻辑。但是,多线程的时候,需要增加每个groupid下的partition分区数量,便于每个线程稳定读取固定的partition,提高消费能力。
如有错误欢迎指正,技术交流邮箱:suphieLiang@163.com

kafka consumer消费者 offset groupID详解相关推荐

  1. 关于Kafka 的 consumer 消费者手动提交详解

    前言 在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输.本篇则重点介绍kafka中的 consumer 消费者的讲解. 应用场景 在上一篇kaf ...

  2. kafka consumer 总结及配置详解学习

    目录 1.Consumer Group 与 topic 订阅 1.1 Consumer 与 partition 1.2 Consumer 与Consumer Group 1.3 Coordinator ...

  3. kafka的auto.offset.reset详解与测试

    取值及定义# auto.offset.reset有以下三个可选值: latest (默认) earliest none 三者均有共同定义: 对于同一个消费者组,若已有提交的offset,则从提交的of ...

  4. kafka实战-消费者offset重置问题

    kafka实战-消费者offset重置问题 背景 问题现象 分析原因 问题解决 附-常见的消费者配置描述和调优方案 1. max.poll.records 2. fetch.max.bytes 3. ...

  5. Kafka 消费者组 Rebalance 详解

    Rebalance作用 Rebalance 本质上是一种协议,主要作用是为了保证消费者组(Consumer Group)下的所有消费者(Consumer)消费的主体分区达成均衡. 比如:我们有10个分 ...

  6. Kafka offset 偏移量详解

    1 背景 Kafka是Consumer去拉Broker 中的数据,但是数据从何处开始拉是一个技术问题 为了解决这个问题场景,所以Kafka推出了偏移量的概念 2 offset 偏移量是什么 2.1 基 ...

  7. 基于Confluent.Kafka实现的Kafka客户端操作类使用详解

    一.引言 有段时间没有写东西了,当然不是没得写,还有MongoDB的系列没有写完呢,那个系列还要继续.今天正好是周末,有点时间,来写新东西吧.最近公司用了Kafka做为消息的中间件,最开始写的那个版本 ...

  8. kafka 同步提交 异步_详解Kafka设计架构核心——Kafka副本机制详解

    所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝.副本机制有什么好处呢? 1. 提供数据冗余.即使系统部分组件失效,系统依然 ...

  9. Apache Kafka Consumer 消费者集

    1.目标 在我们的上一篇文章中,我们讨论了Kafka Producer.今天,我们将讨论Kafka Consumer.首先,我们将看到什么是Kafka Consumer和Kafka Consumer的 ...

最新文章

  1. 每日一皮:中关村地铁站和普通地铁站的区别
  2. caffe特征提取/C++数据格式转换
  3. oracle ogg常用指令,oracle goldengate日常管理命令
  4. Python爬虫解析htm时lxml的HtmlElement对象获取和设置inner html方法
  5. Jupyter中显示数据data时只显示省略号不显示完整数据
  6. 信息技术手册查重错误比对分析程序开发记录3
  7. 关于JM8.6中MAX_LIST_SIZE值的选取
  8. 第四周项目1-三角形类的构造函数
  9. 百度迁徙 迁入人口和迁徙规模爬虫
  10. Netty Websocket多人多房间聊天室Demo
  11. 今日总结-20220304
  12. 【微信小程序】云函数使用excel-export导出excel
  13. 7.28 C幸运数字
  14. Unity的ScrollRect如何裁切粒子特效,以及如何使粒子特效显示在UI上
  15. [JavaScript][AJAX] 前后端交互流程,ajax工作流程
  16. WordPress独立下载页面插件
  17. 模块化笔记软件综合评测:Craft、Notion、FlowUs
  18. 博客匿名评论功能正式上线了!
  19. 前端如何实现搜索关键字的高亮显示
  20. 餐道中台如何赋能餐饮零售企业?

热门文章

  1. 工作1-2年,月薪3000不可怕,可怕的是能力与之相匹配
  2. XCP学习笔记 ———— CTOs
  3. 【Java】巩固基础,温故知新——程序逻辑控制
  4. kurento服务器搭建(docker方式)
  5. VR套装的一种低成本实现方式
  6. Linux中ls -l命令展示信息详解
  7. sklearn数据集分割方法汇总
  8. 智慧天下:专业版和绿色版有什么区别?
  9. 翻译翻译,什么是CAP
  10. vue2之v-for详解