Kafka的工作原理和ZK在其中的作用详解

Kafka使用zk的分布式协调服务，将生产者，消费者，消息储存（broker，用于存储信息，消息读写等）结合在一起。同时借助zk，kafka能够将生产者，消费者和broker在内的所有组件在无状态的条件下建立起生产者和消费者的订阅关系，实现生产者的负载均衡。

1. broker在zk中注册

kafka的每个broker（相当于一个节点，相当于一个机器）在启动时，都会在zk中注册，告诉zk其brokerid，在整个的集群中，broker.id/brokers/ids，当节点失效时，zk就会删除该节点，就很方便的监控整个集群broker的变化，及时调整负载均衡。

2. topic在zk中注册

在kafka中可以定义很多个topic，每个topic又被分为很多个分区。一般情况下，每个分区独立在存在一个broker上，所有的这些topic和broker的对应关系都有zk进行维护

3. consumer(消费者)在zk中注册

3.1 注册新的消费者，当有新的消费者注册到zk中，zk会创建专用的节点来保存相关信息，路径ls /consumers/{group_id}/ [ids,owners,offset]，Ids:记录该消费分组有几个正在消费的消费者，Owmners：记录该消费分组消费的topic信息，Offset：记录topic每个分区中的每个offset

3.2 监听消费者分组中消费者的变化 ,监听/consumers/{group_id}/ids的子节点的变化，一旦发现消费者新增或者减少及时调整消费者的负载均衡。

Kafka的工作原理和ZK在其中的作用详解相关推荐

Apache Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_配置参数详解_基本命令实操
文章目录安装JDK 安装zookeeper 安装kafka 下载解压配置hosts 启动kafka服务 server.properties核心配置详解基本命令创建主题发送消息消费消息查看 ...
windows任务管理器中的工作设置内存,内存专用工作集,提交大小详解
通俗的讲工作设置内存是程序占用的物理内存(包含与其他程序共享的一部分), 内存专用工作集是程序独占的物理内存, 提交大小是程序独占的内存(包含物理内存和在页面文件中的内存). 注:页面文件就是存放不在 ...
HTTPS 工作原理和 TCP 握手机制
1.HTTPS的工作原理 HTTPS在传输数据之前需要客户端(浏览器)与服务端(网站)之间进行一次握手,在握手过程中将确立双方加密传输数据的密码信息.TLS/SSL协议不仅仅是一套加密传输的协议,更是 ...
浏览器工作原理和V8引擎
一.浏览器的工作原理比如在浏览器中输入网址,然后dns进行解析,解析出的就是服务器的一个ip地址.服务器返回一个html文件,浏览器内核在解析html文件的过程中,遇到link标签和script标签 ...
示波器的使用及其工作原理和multisim仿真软件的使用
一.示波器的工作原理示波器用来测量交流电或脉冲电流波的形状的仪器,由电子管放大器.扫描振荡器.阴极射线管等组成.除观测电流的波形外,还可以测定频率.电压强度等.凡可以变为电效应的周期性物理过程都可以 ...
etcd工作原理和CentOS 7部署指南
https://blog.csdn.net/kenkao/article/details/107149278
NLP能否像人脑一样工作？CMU、MIT三篇论文详解机器和大脑范畴下NLP的关系
本文转载自公众号机器之心作为计算机科学领域与人工智能领域的重要研究课题,自然语言处理已经在各领域展开了广泛的研究与探讨.随着研究的深入,一些学者开始探讨机器中的自然语言处理和大脑中的自然语言处理是否 ...
Kafka中zookeeper的作用详解（7点）
Kafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有topic的分区副本分配和leader选举等工作.Controller的管理工作都是依赖于Zoo ...
kafka 主动消费_Kafka ack消费确认-提交和偏移量详解
我一直觉得kafka是做消息的最佳选择,因为我们最关注的就是消息丢失问题,重复消费问题,性能问题,而kafka正是这方面的典范,虽然我也用过redis和其他mq做过消息.这里我想好好研究一下kafka ...

Kafka的工作原理和ZK在其中的作用详解

Kafka的工作原理和ZK在其中的作用详解相关推荐

最新文章

热门文章