[Kafka] Kafka基本架构

生产者Producer ：生产信息；
消费者Consumer ：订阅主题、消费信息；
代理Broker : 可以看作是一个独立的 Kafka 实例。多个 Kafka Broker 组成一个卡夫卡集群 Kafka Cluster；
主题topic：可以理解为一个队列，生产者和消费者面向的都是一个 topic， Producer 将消息发送到特定的主题，Consumer 通过订阅特定的主题来消费消息；
分区partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。
副本Replica：：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。
leader ：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 leader。
follower ：每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据的同步。leader 发生故障时，某个 follower 会成为新的 follower。

[Kafka] Kafka基本架构相关推荐

搞透Kafka的存储架构，看这篇就够了
阅读本文大约需要30分钟.这篇文章干货很多,希望你可以耐心读完. 从这篇文章开始,我将对 Kafka 专项知识进行深度剖析, 今天我就来聊聊 kafka 的存储系统架构设计, 说到存储系统,大家可能对 ...
K8s, Kafka事件溯源架构模式和用例示例
随着当今快速变化的业务和技术格局,开发人员.数据科学家和IT运营部门正在共同构建具有新技术和动态架构的智能应用程序,因为它们具有灵活性,交付速度和可维护性.本文我将介绍有助于技术架构进化的技术:容器. ...
基于SSD的Kafka应用层缓存架构设计与实现
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,针对因PageCache互相污染,进而引发PageCache竞争导致实时作业被延迟作业影响的痛点,美团基于SSD自研了Kafka的应用层缓存架 ...
kfaka storm写入mysql_flume+kafka+storm+mysql架构设计
序言前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考.这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql如果有需要测 ...
5分钟带你了解Kafka的技术架构 | 技术头条
戳蓝字"CSDN云计算"关注我们哦! 技术头条:干货.简洁.多维全面.更多云计算精华知识尽在眼前,get要点.solve难题,统统不在话下! 大家都知道 Kafka 是一个非常牛逼 ...
Kafka Broker 基本架构二
1 架构 Kafka 是 C/S架构 2 Server架构 Kafka Server端架构是分布式的 ,下图是分布式双节点的举例 2.1 broker 一个独立的Kafka 服务器被称为broke ...
Kafka剖析：Kafka背景及架构介绍
Kafka剖析:Kafka背景及架构介绍 <Kafka剖析:Kafka背景及架构介绍> <Kafka设计解析:Kafka High Availability(上)> <K ...
[Big Data - Kafka] kafka学习笔记：知识点整理
一.为什么需要消息系统 1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 2.冗余:消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险.许 ...
聊聊 Kafka： Kafka 的基础架构
一.我与快递小哥的故事一个很正常的一个工作日,老周正在忙着啪啪啪的敲代码,办公司好像安静的只剩敲代码的声音.突然,我的电话铃声响起了,顿时打破了这种安静. 我:喂,哪位? 快递小哥:我是顺丰快递的, ...

[Kafka] Kafka基本架构

[Kafka] Kafka基本架构

[Kafka] Kafka基本架构

[Kafka] Kafka基本架构相关推荐

最新文章

热门文章