1、整体流程

流程图

词汇

topic：主题
producer：生产者
consumer：消费者
consumer-group：消费者组
offset：偏移量
follower：副本

要点概述

kafka是以topic进行分类的，由producer生产数据发送到topic，再被consumer进行消费，同时offset会记录每个分区的消费进度，就算中途挂掉了，下次也会从offset开始继续消费
每个topic可以有多个分区，每个分区可以配置1个或多个副本，形成leader-follower的关系，leader和follower不会在同一个节点上（这点和Elasticsearch类似）
每个分区只能被一个consumer消费，如果consumer数量比分区还多，会存在部分consumer闲置，没有数据可以消费

2、生产者

Kafka工作原理简要概述相关推荐

三极管和场效应管的工作原理简要概述
晶体管的概念严格意义上讲,晶体管泛指一切以半导体材料为基础的单一元件,包括各种半导体材料制成的二极管.三极管.场效应管.可控硅等,但是国内习惯上,把晶体管有时多用来指晶体三极管. 三极管,全称应为半 ...
简单分析KafKa工作原理
架构图 Producer:Producer即生产者,消息的产生者,是消息的入口. kafka cluster: Broker:Broker是kafka实例,每个服务器上有一个或多个kafka的实例,我 ...
HashMap的实现原理(简要概述)
HashMap的实现原理(简要概述) 基于哈希算法实现的,它通过put存储,通过get取值. 当传入一个key时,HashMap会根据key.hashCode()计算出哈希值,然后根据这个哈希值将va ...
kafka同一个group 消费两个topic吗_MQ: 一张图读懂kafka工作原理
1.关于kafka Kafka是由Apache软件基金会开发的一个开源消息队列,由Scala和Java编写. 相关文章参考: MQ: 消息队列常见应用场景及主流消息队列ActiveMQ.RabbitM ...
Apache kafka 工作原理介绍
消息队列消息队列技术是分布式应用间交换信息的一种技术.消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走.通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置.或在继续执行 ...
转-Apache kafka 工作原理介绍
转自: https://developer.ibm.com/zh/articles/os-cn-kafka/ 消息队列消息队列技术是分布式应用间交换信息的一种技术.消息队列可驻留在内存或磁盘上, 队 ...
Kafka工作原理-数据写入、ACK、查询、消费原理
为什么需要消息队列周末无聊刷着手机,某宝网APP突然蹦出来一条消息"为了回馈老客户,女朋友买一送一,活动仅限今天!".买一送一还有这种好事,那我可不能错过!忍不住立马点了去.于是 ...
kafka工作原理介绍
两张图读懂kafka应用: Kafka 中的术语 broker:中间的kafka cluster,存储消息,是由多个server组成的集群. topic:kafka给消息提供的分类方式.broker用 ...
P2P下载工作原理简要解释
朋友给了一个BT的种子,查后得知就是视频的下载链接,于是质问朋友:"为什么不给我视频,而给种子."朋友无语,仿佛对待外星生物一样看待我,于是心有不甘,赶忙查清为什?摘录如下,与大家 ...

Kafka工作原理简要概述

1、整体流程

2、生产者

Kafka工作原理简要概述相关推荐

最新文章

热门文章