kafka多个消费者消费一个topic_kafka:一文读懂消费者背后的那点quot;猫腻quot;
来自:z小赵
前言
经过前几篇文章的介绍,大致了解了生产者背后的运行原理。消息有生产就得有人去消费,今天我们就来介绍下消费端消费消息背后发生的那点事儿。
文章概览
- 消费者与消费组的“父子关系”。
- Repartition 触发时机。
- 消费者与 ZK 的关系。
- 消费端工作流程。
- 消费者的三种消费情况。
消费者与消费组的“父子关系”
Kafka 消费端确保一个 Partition 在一个消费者组内只能被一个消费者消费。这句话改怎么理解呢?
- 在同一个消费者组内,一个 Partition 只能被一个消费者消费。
- 在同一个消费者组内,所有消费者组合起来必定可以消费一个 Topic 下的所有 Partition。
- 在同一个消费组内,一个消费者可以消费多个 Partition 的信息。
- 在不同消费者组内,同一个分区可以被多个消费者消费。
- 每个消费者组一定会完整消费一个 Topic 下的所有 Partition。
消费组存在的意义
了解了消费者与消费组的关系后,有朋友会比较疑惑消费者组有啥实际存在的意义呢?或者说消费组的作用是什么?
作者对消费组的作用归结了如下两点。
- 在实际生产中,对于同一个 Topic,可能有 A、B、C 等 N 个消费方想要消费。比如一份用户点击日志,A 消费方想用来做一个用户近 N 天点击过哪些商品;B 消费方想用来做一个用户近 N 天点击过前 TopN 个相似的商品;C 消费方想用来做一个根据用户点击过的商品推荐相关周边的商品需求。对于多应用场景,就可以使用消费组来隔离不同的业务使用场景,从而达到一个 Topic 可以被多个消费组重复消费的目的。
- 消费组与 Partition 的消费进度绑定。当有新的消费者加入或者有消费者从消费组退出时,会触发消费组的 Repartition 操作(后面会详细介绍 Repartition);在 Repartition 前,Partition1 被消费组的消费者 A 进行消费,Repartition 后,Partition1 消费组的消费者 B 进行消费,为了避免消息被重复消费,需要从消费组记录的 Partition 消费进度读取当前消费到的位置(即 OffSet 位置),然后在继续消费,从而达到消费者的平滑迁移,同时也提高了系统的可用性。
Repartition 触发时机
使用过 Kafka 消费者客户端的同学肯定知道,消费者组内偶尔会触发 Repartition 操作,所谓 Repartition 即 Partition 在某些情况下重新被分配给参与消费的消费者。基本可以分为如下几种情况。
- 消费组内某消费者宕机,触发 Repartition 操作,如下图所示。
- 消费组内新增消费者,触发 Repartition 操作,如下图所示。一般这种情况是为了提高消费端的消费能力,从而加快消费进度。
- Topic 下的 Partition 增多,触发 Repartition 操作,如下图所示。一般这种调整 Partition 个数的情况也是为了提高消费端消费速度的,因为当消费者个数大于等于 Partition 个数时,在增加消费者个数是没有用的(原因是:在一个消费组内,消费者:Partition = 1:N,当 N 小于 1 时,相当于消费者过剩了),所以一方面增加 Partition 个数同时增加消费者个数可以提高消费端的消费速度。
消费者与 ZK 的关系
众所周知,ZK 不仅保存了消费者消费 partition 的进度,同时也保存了消费组的成员列表、partition 的所有者。消费者想要消费 Partition,需要从 ZK 中获取该消费者对应的分区信息及当前分区对应的消费进度,即 OffSert 信息。那么 Partition 应该由那个消费者进行消费,决定因素有哪些呢?从之前的图中不难得出,两个重要因素分别是:消费组中存活的消费者列表和 Topic 对应的 Partition 列表。通过这两个因素结合 Partition 分配算法,即可得出消费者与 Partition 的对应关系,然后将信息存储到 ZK 中。Kafka 有高级 API 和低级 API,如果不需要操作 OffSet 偏移量的提交,可通过高级 API 直接使用,从而降低使用者的难度。对于一些比较特殊的使用场景,比如想要消费特定 Partition 的信息,Kafka 也提供了低级 API 可进行手动操作。
消费端工作流程
在介绍消费端工作流程前,先来熟悉一下用到的一些组件。
KakfaConsumer
:消费端,用于启动消费者进程来消费消息。ConsumerConfig
:消费端配置管理,用于给消费端配置相关参数,比如指定 Kafka 集群,设置自动提交和自动提交时间间隔等等参数,都由其来管理。ConsumerConnector
:消费者连接器,通过消费者连接器可以获得 Kafka 消息流,然后通过消息流就能获得消息从而使得客户端开始消费消息。
以上三者之间的关系可以概括为:消费端使用消费者配置管理创建出了消费者连接器,通过消费者连接器创建队列(这个队列的作用也是为了缓存数据),其中队列中的消息由专门的拉取线程从服务端拉取然后写入,最后由消费者客户端轮询队列中的消息进行消费。具体操作流程如下图所示。
我们在从消费者与 ZK 的角度来看看其工作流程是什么样的?
从上图可以看出,首先拉取线程每拉取一次消息,同步更新一次拉取状态,其作用是为了下一次拉取消息时能够拉取到最新产生的消息;拉取线程将拉取到的消息写入到队列中等待消费消费线程去真正读取处理。消费线程以轮询的方式持续读取队列中的消息,只要发现队列中有消息就开始消费,消费完消息后更新消费进度,此处需要注意的是,消费线程不是每次都和 ZK 同步消费进度,而是将消费进度暂时写入本地。这样做的目的是为了减少消费者与 ZK 的频繁同步消息,从而降低 ZK 的压力。
消费者的三种消费情况
消费者从服务端的 Partition 上拉取到消息,消费消息有三种情况,分别如下:
- 至少一次。即一条消息至少被消费一次,消息不可能丢失,但是可能会被重复消费。
- 至多一次。即一条消息最多可以被消费一次,消息不可能被重复消费,但是消息有可能丢失。
- 正好一次。即一条消息正好被消费一次,消息不可能丢失也不可能被重复消费。
1.至少一次
消费者读取消息,先处理消息,在保存消费进度。消费者拉取到消息,先消费消息,然后在保存偏移量,当消费者消费消息后还没来得及保存偏移量,则会造成消息被重复消费。如下图所示:
2.至多一次
消费者读取消息,先保存消费进度,在处理消息。消费者拉取到消息,先保存了偏移量,当保存了偏移量后还没消费完消息,消费者挂了,则会造成未消费的消息丢失。如下图所示:
3.正好一次
正好消费一次的办法可以通过将消费者的消费进度和消息处理结果保存在一起。只要能保证两个操作是一个原子操作,就能达到正好消费一次的目的。通常可以将两个操作保存在一起,比如 HDFS 中。正好消费一次流程如下图所示。
总结
本文讲解了消费组与消费者之间的关系,及 Repartition 的触发时机,然后讲述了消费端的基本工作流程,最后提出了一条消息被重复消费的几种情况。下篇文章我们来讲讲消息在服务端是怎么存储的,敬请期待。
特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下:
长按订阅更多精彩▼
如有收获,点个在看,诚挚感谢
kafka多个消费者消费一个topic_kafka:一文读懂消费者背后的那点quot;猫腻quot;相关推荐
- kafka:一文读懂消费者背后的那点猫腻
来自:z小赵 前言 经过前几篇文章的介绍,大致了解了生产者背后的运行原理.消息有生产就得有人去消费,今天我们就来介绍下消费端消费消息背后发生的那点事儿. 文章概览 消费者与消费组的"父子关系 ...
- 【机器学习】机器学习Top10算法,教你选择最合适的那一个!一文读懂ML中的解析解与数值解...
在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其是像预测建模的监督学习里. 比方说,神经网络不见得比决策树好,同样反过来也不成立. 最后的结果是有很多因素在起作用的,比方说数据集的大小 ...
- 一文读懂:Kafka(分布式消息队列)的基础概念,教程
[提前声明] 文章由作者:张耀峰 结合自己生产中的使用经验整理,最终形成简单易懂的文章 写作不易,转载请注明,谢谢! 代码案例地址: ?https://github.com/Mydreamandrea ...
- 一物一码二维码营销,助企业读懂消费者“心声”
"一物一码"是互联网时代的产物,它给我们的生活带来了便捷,颠覆传统让企业和消费者打通线上线下的双向连接,消费者通过一物一码与企业进行互动,企业也可以通过一物一码来提高市场竞争力. ...
- 码农不会英语怎么行?一个公式教你读懂英文文档
不背公式和语法- 一个公式教你读懂英文文档.往下看↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ ↓↓↓ ↓↓↓ ↓↓↓ ↓↓↓ ↓↓↓ ↓↓↓ 还在翻 背单词去 在做什么梦???
- 什么是连续潮流cpf_2019童装秋冬潮流趋势报告:一文读懂童装潮流四大消费趋势...
点击蓝字关注孕婴童微报 敏锐洞察 | 客观报道 | 深度解码 来源:第一财经商业数据中心(ID:CBNData) 在各类母婴社区中,宝爸宝妈们最爱讨论的话题,除了婴幼儿食品,就是自家宝宝的穿衣打扮,作 ...
- 一文读懂 Kafka 事务机制
这篇文章主要讲述 Kafka 事务性相关原理,从 Kafka EOS 语义.幂等性.事务性等几个方面阐述. Kafka EOS 语义 EOS(Exactly Once Semantics,精确一次处理 ...
- mq多个消费者消费一个消息_消息中间件——RabbitMQ(五)快速入门生产者与消费者...
求关注 快速入门生产者与消费者,SpringBoot整合RabbitMQ! 前言 本章我们来一次快速入门RabbitMQ--生产者与消费者.需要构建一个生产端与消费端的模型.什么意思呢?我们的生产者发 ...
- mq多个消费者消费一个消息_ActiveMQ多个消费者消费不均匀问题
如果客户端处理很慢的话,Broker会在之前发送消息的反馈之前,继续发送新的消息到客户端.如果客户端依旧很慢的话,没有得到确认反馈的消息会持续增长.在这种情况下,Broker有可能会停止发送消息给消费 ...
最新文章
- C:/WINDOWS/system32/x 病毒分析和解决建议
- 文本编辑BOM标记(Byte Order Mark)
- 一波三折用OSD部署Vista中文企业版(下):SMS2003系列之九
- android c# websocket
- 在CentOS下安装crontab服务
- a:hover伪类在ios移动端浏览器内点击无效的解决方法
- verilog中的代码使用
- boost::fusion::map_tie用法的测试程序
- filter-mutate过滤插件
- UILabel 宽高自适应
- 操作系统学习之用C语言模拟LRU算法
- Nginx 系列:Nginx 实践,location 路径匹配
- 【OpenCL开发入门】01 - 搭建Visual Studio 2022+OpenCL开发环境
- java jre 配置_JRE的安装及环境变量配置
- 艺术家艾·克里斯汀·麦克拉维·佩恩gp采访23
- vue路由守卫(页面鉴权)
- 实战:入侵win10
- 《Jenkins持续集成入门到精通02》
- html 旋转木马 轮播,jQuery 3D旋转木马轮播图插件jquery.caroursel.js
- Vivado高速时钟差分走线布线
热门文章
- 详解Object.defineProperty
- mysql怎么跳出while循环_mysql while,loop,repeat循环,符合条件跳出循环
- sizeof是c语言的一种运算符,深入sizeof的使用详解
- linux 环境 安装nginx
- 第10篇:Flowable-BPMN操作流程部署、启动
- android线性布局快捷键,【整理】Android图形界面知识学习与总结之:Linear Layout线性布局...
- C++面向对象思想 两条直线交点计算
- spring-security登录和权限管理
- 服务器zip解压php,服务器端解压缩zip的脚本
- simulink方框_4.4设计Simulink框图的界面