Kafka核心概念及核心机制

2024-05-29 04:13:09

核心概念

broker: 进程
producer: 生产者 flume
consumer: 消费者 ss （spark streaming，，，）
topic: 主题分区+副本数文件夹
partition: 分区一个分区可以有多个副本

consumergroup：

重点解析：
1.一个组内，共享一个公共的GROUPID
2.组内的所有消费者协调一起，去消费topic的所有的分区，并且不重复
3.每个分区p0只能由一个消费组A的一个消费者C1来消费（po只能让A组的c1消费，不能c2在消费）
4.容错性的消费机制

offset:

有序的不可变的序列相当于MySQL自增长主键
每个分区记录offset 偏移量都是从1开始
segment: 每个分区都是由一系列的segment文件组
segment: log+index 两两出现
命名规则: 第一组为00000000000000000000
第二组为00000000000000002000
名称是由上一组的最后一条消息的offset来命名
例子：
通过offset为2800对应的消息
00000000000000000000.index
00000000000000000000.log
00000000000000002000.index
00000000000000002000.log
00000000000000004200.index
00000000000000004200.log

1.log文件记录message 全部
2.index文件记录相对offset和对应的消息的物理偏移量字节位置
稀疏存储
3.2800-2000=800 相对offset 800

Kafka核心概念及核心机制相关推荐

Apollo（分布式配置中心）核心概念及核心功能介绍
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境.不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限.流程治理等特性,适用于微服务配置管理场景. 服 ...
大数据之-Nifi-认识Nifi_Nifi的核心概念_Nifi核心架构_Nifi的性能_Nifi的关键特性---大数据之Nifi工作笔记0001
Apache NiFi 是一个易于使用, 功能强大且可靠的系统, 用于处理和分发数据.可以自动化管理系统间的数据流.它使用高度可配置的指示图来管理数据路由, 转换和系统中介逻辑, 支持从多种数据源动态 ...
Kubernetes 核心概念
本节课程要点什么是 Kubernetes :介绍 Kubernetes 的主要功能以及能力: Kubernetes 的架构:介绍 Kubernetes 的核心组件,以及介绍它们之间是如何相互互动连接 ...
【vue2.0进阶】轻松理解Vuex的3个核心概念
上一节前端君和大家一起认识了Vuex,我们了解了Vuex是一个提供状态管理机制,相比使用传统的全局对象,它有两大优点,一个是它的状态存储是响应式的,另一个是要不能随意修改Vuex的状态,必须按照它的规 ...
面试官：说说你对操作系统的理解？核心概念有哪些？
一.是什么操作系统(Operating System,缩写:OS)是一组主管并控制计算机操作.运用和运行硬件.软件资源和提供公共服务来组织用户交互的相互关联的系统软件程序,同时也是计算机系统的内核与 ...
【vue2.0进阶】轻松理解Vuex的3个核心概念及简单应用案例(计算器)
Vuex是一个提供状态管理机制,相比使用传统的全局对象,它有两大优点,一个是它的状态存储是响应式的,另一个是要不能随意修改Vuex的状态,必须按照它的规矩来办事.最后也了解了它有适用和不适用的业务场景 ...
Kafka：Kafka核心概念
1 消息系统简介 1.1 为什么要用消息系统 ? 解耦各位系统之间通过消息系统这个统一的接口交换数据,无须了解彼此的存在: 冗余部分消息系统具有消息持久化能力,可规避消息处理前丢失的风险: 灵活性 ...
二.Kafka入门到精通-Kafka核心概念
前言上一篇我们认识了一下Kafka以及完成了一个快速入门程序.这篇文章我们将学习Kafka的整体架构,工作流程,以及一些核心概念,正所谓知其然知其所以然. Kafka的架构我们知道,消息队列的工作 ...
kafka核心概念与应用场景
Kafka的主要特点 Kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务.它主要用 ...

最新文章

热门文章