Kafka

分布式、基于发布订阅模式的存储队列

使用场景

大数据下的负载均衡、缓冲

发布、订阅模式：上游数据统一推送，下游按需拉取数据

kafka最新定义：开源的分布式事件流平台(event streaming Platform)，用于高性能数据管道、流分析、数据集成和关键任务应用

消息队列

常用消息队列：kafka、ActiveMQ、RabbitMQ、RocketMQ等

在大数据场景主要采用Kafka作为消息队列

传统消息队列的应用场景：缓存/消峰、解耦和异步通信

缓存/消峰：

解耦：

异步处理：

消息队列的两种模式

点对点

订阅/发布

Kafka的基础架构

Producer(生产者)

Consumer(消费者)

Topic(主题)

为方便拓展，并提高吞吐量，一个topic分为多个partition

如图：TopicA分为三个partition，放在三台服务器上broker0、broker1、broker2

配合分区的设计，提出消费者组的概念，组内每个消费者并行消费

为提高可用性，为每个partition增加若干副本，类似NameNode HA

kafka的副本分为leader和follower，正常情况下消费者只消费leader，如果leader挂掉，follower有条件成为leader，被消费者消费

Zookeeper 记录Kafka的信息，2.8.0版本之后可以配置不采用ZK

zookeeper记录的信息包括：

节点状态：/brokers/ids/[0,1,2] 表示有0,1,2三台服务器在使用

leader信息：/brokers/topics/first/partitions/0/state “leader”:0,”isr”:[0,2] 表示partition0的leader是broker0上的副本,在broker0、和broker2上均有副本

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Hc5HeGUY-1660635771486)(…/AppData/Roaming/Typora/typora-user-images/image-20220816151354117.png)]

【Kafka】kafka架构相关推荐

Kafka技术架构那些事儿
在这篇文章中,我们将一起学习Apache Kafka的架构,ZooKeeper扮演的角色等等. 目标在这个文章中,我们将学习Kafka基础知识.Kafka交付语义和配置,以实现不同的语义.激发Kaf ...
Kafka监控架构设计
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
Kafka设计解析（六）- Kafka高性能架构之道
原创文章,转载请务必将下面这段话置于文章开头处. 本文转发自技术世界,原文链接 http://www.jasongj.com/kafka/high_throughput/ 摘要上一篇文章<Ka ...
Kafka 设计架构原理详细解析（超详细图解）
什么是Kafka? Apache Kafka是一个开放源代码的分布式事件流平台,成千上万的公司使用它来实现高性能数据管道,流分析,数据集成和关键任务等相关的应用程序. Kafka的应用场景构造实时 ...
Kafka的架构设计
本文来说下有关Kafka的架构设计.把握住了这个关键点,我相信你将能更好地理解 Kafka 的架构设计,进而顺藤摸瓜地掌握 Kafka 的核心技术方案. 文章目录 Kafka的技术难点究竟在哪 Kaf ...
kafka 同步提交异步_详解Kafka设计架构核心——Kafka副本机制详解
所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝.副本机制有什么好处呢? 1. 提供数据冗余.即使系统部分组件失效,系统依然 ...
[Kafka] Kafka基本架构
[Kafka] Kafka基本架构 [Kafka] Kafka基本架构 [Kafka] Kafka基本架构生产者Producer :生产信息: 消费者Consumer :订阅主题.消费信息: 代理B ...
Kafka整体架构图解
1.概述 Apache Kafka最早是由LinkedIn开源出来的分布式消息系统,现在是Apache旗下的一个子项目,并且已经成为开源领域应用最广泛的消息系统之一.Kafka社区非常活跃,从0.9版 ...
Kafka体系架构详细分解
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源作者:luozhiyun 地址:http://suo.im/5uYoJ0 大数据技术与架构点击右 ...
消息队列 Kafka的架构原理（小白必看）
最终大家会掌握 Kafka 中最重要的概念,分别是 Broker.Producer.Consumer.Consumer Group.Topic.Partition.Replica.Leader.Fol ...

【Kafka】kafka架构