Kafka系统的组件、角色以及和zookeeper的关系

2024-04-29 03:18:40

broker: 每个正在运行的kafka节点,部署kafka的服务器, 以broker.id来区分

producer：消息生产者

consumer：消息的消费者

consumer group：消费者组，同一个消费者组只能有一个consumer能消费消息

topic：主题, 主题中的每条消息包括key-value和timestamp。可以定义多个topic，每个topic又可以划分为多个分区

partition：topic下的消息分区，通过key取哈希后把消息映射分发到一个指定的分区，每个分区都映射到broker上的一个目录。一般每个分区存储在一个broker上

replica：副本，每个分区按照生产者的消息达到顺序存放。每个分区副本都有一个leader

leader replica：leader角色的分区副本，leader角色的分区处理消息的读写请求. Leader和follower位于不同的broker.

follower replica：follower角色的分区副本，负责从Leader拉取数据到本地，实现分区副本的创建

1.kafka为什么用到zookeeper？

（1）Kafka集群通过Zookeeper来管理kafka的配置，选举leader；

（2）在Consumer Group发生变化时进行rebalance

（3）所有的topic与broker的对应关系都由zk维护

2.kafka的哪些组件需要注册到zookeeper？

（1）Broker注册到zk

（2）Topic注册到zk

（3）Consumer注册到zk

producer（生产者）不注册到zookeeper是因为生产者的状态是瞬间状态，发送完消息就可以宕机了。

3.kafka和zookeeper的理解

kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）更新。但是发送给Topic本身的数据是不会发到Zk上的。

Kafka系统的组件、角色以及和zookeeper的关系相关推荐

Kafka概念及组件介绍
Kafka--分布式消息队列系统 1.分布式消息队列系统,先入先出,同时提供数据分布式缓存功能 2.消息持久化:数据读取速度可以达到O(1)--预读,后写(按顺序,ABCDE,正读A,预读B:尾部追加 ...
Apache Kafka 不需要管理员：删除 Apache ZooKeeper 的依赖
点击上方"朱小厮的博客",选择"设为星标" 后台回复"加群",加入新技术目前,Apache Kafka 使用 Apache ZooKeep ...
一览：UMP系统各组件功能
(1)Mnesia:分布式数据库管理系统 Mnesia支持事务.提供透明的数据分片.利用两阶段锁来实现分布式事务.具有线性扩展性(可扩展到至少50个节点). Mnesia的数据库模式可在运行时动态重配 ...
Kafka消息队列组件简介
Kafka消息队列组件简介消息队列的工作模式消息队列的优点 Kafka架构生产者写入流程消费者组消息队列的工作模式点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通 ...
售票系统的组件图和部署图_组件图和部署图详解.ppt
1 组件 (1). 组件的概念组件(component): 是一个相对独立的可装配的物理块,是系统的一个物理的和可替代的组成部分,一般作为一个独立的文件存在. 组件具有确定的接口,相互之间可以调用, ...
CV：传统视觉知识—机器视觉系统的基础知识(机器视觉三要素+典型的工业机器视觉系统五大组件)
CV:传统视觉知识-机器视觉系统的基础知识(机器视觉三要素+典型的工业机器视觉系统五大组件) 目录机器视觉三要素 1.what-测量.判断 2.why-灵活性.自动化
VS2015 打包添加系统必备组件
有时我们除了需要安装系统必备组件之外,还需要做自定义的子安装程序,如我的需要安装2007 Office System Driver: Data Connectivity Components!现将操作 ...
无法打开Win11系统小组件怎么办
Win11操作系统也推出一段时间了,不少小伙都有下载体验,Win11与之前的Win10比较起来改动非常大,小组件是Win11系统中全新添加的功能,他类似于Win10最新的加入的兴趣模块,但是有朋友遇到 ...
xp系统windows 组件向导无iis安装选项解决办法
xp系统windows 组件向导无iis安装选项解决办法控制面板里没有"->添加/删除Windows组件->Internet信息服务(IIS)"组件的添加方法. ( ...

最新文章

热门文章