kafka原理图简介

1)Borker启动之后会向zookeeper注册,zookeeper保存着kafka的元数据信息,并且zookeeper完成对kafka的选举(选举哪个分区时leader分区,哪个分区是follwer分区)

2)生产者主动会把数据写入到kafka中producer不需要连接zookeeper只需知道kafka的borker的地址就行了,

3)消费者consumer会连接zookeeper,会向zookeeper注册,因为消费者需要知道kafka中有多少broker,broker下面有多少分区,哪个分区在哪台机器上,上次偏移量写到哪里了,连接完了zookeeper之后在连接broker,然后拉取数据

总结:

1.kafka的生成者直接向broker的leader分区写数据不需要连接ZK

2.kafka的消费者(老的API需要先连接ZK,获取broker信息和topic 分区偏移量信息),新的API不需要连接ZK(直接方式连接broker,效率更高)

kafka原理图简介相关推荐

Kafka Connect简介
一. Kafka Connect简介 Kafka是一个使用越来越广的消息系统,尤其是在大数据开发中(实时数据处理和分析).为何集成其他系统和解耦应用,经常使用Producer来发送消息到Broker, ...
Kafka 原理简介
Kafka 原理简介 Kafka 是一种高吞吐的分布式发布订阅的消息系统,可以处理消费者规模的网站中的动作流数据,具有高性能的,持久化,多副本,横向扩展能力. https://www.cnblogs. ...
Kafka Confluent 简介
简介基本模块 Apache Kafka 消息分发组件,数据采集后先入Kafka. Schema Registry Schema管理服务,消息出入kafka.入hdfs时,给数据做序列化/反序列化处理 ...
kafka系列--简介_李孟_新浪博客
Kafka简介: 1.Apache Kafka是一个开源消息系统,由scala写成.是由Apache软件基金会开发的一个开源消息系统项目. 2. Kafka最初是由LinkedIn开发,并于2011年 ...
Kafka学习之路(一)Kafka的简介
一丶简介 1.1概述 Kafka是最初由Linkedin公司开发,是一个分布式,分区的,多副本的,多订阅者,基于zookeeper协调的分布式日志系统也可以当做MQ系统常见可以用web/nignx日志 ...
Kafka笔记：kafka原理简介以及架构
文章目录 1.1概述 1.2消息系统介绍 1.2.1点对点消息传递 1.2.2发布-订阅消息传递 1.3 Kafka的优点 1.4 Kafka架构以及术语解释 1.4.1 Broker 1.4.2 T ...
大数据之Kafka入门简介
目录前言: 1.Kafka是什么 2.JMS是什么 3.Kafka核心组件(重点) 总结: 目录前言: 作为流式计算中的一个组件,对于它的组成以及运行的原理,学习者也需要相关的了解.以下主要简单介 ...
【Kafka】Kafka Streams简介
1.概述 Kafka在0.10.0.0版本以前的定位是分布式,分区化的,带备份机制的日志提交服务.而kafka在这之前也没有提供数据处理的顾服务.大家的流处理计算主要是还是依赖于Storm,Spark ...
Kafka学习总结（1）——Kafka入门简介
Kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务.它主要用于处理活跃的流式数据. ...

kafka原理图简介

kafka原理图简介相关推荐

最新文章

热门文章