1. Kafka定义

传统定义：kafka是一个分布式的基于发布/订阅模式的消息队列
发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息
最新定义：kafka是一个开源的分布式事件流平台，被多家公司用于高性能、流分析、数据集成和关键任务应用

2. 传统消息队列应用场景

缓存/消峰
有助于控制和优化数据流经系统的速度，解决生产者和消费者处理速度不一致的情况
解耦
允许独立的扩展和修改两边的处理过程，只要确保它们遵守同样的接口约束
异步通信
允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候去处理它

3. 消息队列的两种模式

点对点模式
消费者主动拉取数据，消息收到后清除消息
发布/订阅模式
（1）可以有多个topic主题
（2）消费者消费数据后，不删除数据
（3）每个消费者相互独立，都可以消费到数据

4. kafka名词说明

producer: 消息生产者
consumer: 消息消费者
consumer group: 消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内的一个消费者消费；但消费者组中的一个消费者可以消费多个分区；消费者组之间互不影响。
Broker: 一台kafka服务器就是一个broker，一个集群由多个broker组成。
topic：可以理解为一个队列，生产者和消费者面向的都是同一个topic
partition(分区): 为实现扩展性，一个非常大的topic可以分布到多个broker（服务器）上，一个topic可以分为多个分区(partition)，每个分区是一个有序的队列
replica(副本)：一个topic的每个分区都有若干个副本，即一个leader和若干个follower
leader：每个分区多个副本的"主"，生产者发送数据和消费者消费数据的对象都是leader
follower：每个分区多个副本的"从"，实时从leader中同步数据。保持和leader数据的同步。leader发生故障时，某个follower会成为新的leader

Kafka(一)：概述相关推荐

Kafka(1)-概述
一. 内部原理 1. 点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端.这个模型的特 ...
Kafka知识点概述
kafka架构 Kafka是如何实现消息有序的?有哪些分区算法? (一)Kafka是如何让实现消息有序的生产者:通过分区的leader副本负责数据以先进先出的顺序写入,来保证消息顺序行.消费者:同一 ...
Kafka之概述（一）
1.1 Kafka定义 Kafka是一个分布式的基于发布/ 订阅模式的消息队列,主要应用于大数据实时处理领域. 1.2 消息队列 1.3 Kafka架构
Hadoop集群高可用及zookeeper+kafka组件搭建
目录一.Hadoop集群高可用 1.Zookeeper概述 1)Zookeeper基本概述 3)Zab协议 3)observer 4)zookeeper集群图例 2.zookeeper集群搭建 3. ...
Kafka安装和基本指令
文章目录消息队列概述分类消息系统的适用场景消息队列对比 RabbitMQ Redis ZeroMQ ActiveMQ Kafka介绍概述使用场景 Messaging Website act ...
kafka jar包_和同事交流不会kafka怎么行，API奉上，不是大神也能编
对于kafka真的是又爱又恨,作为架构和大数据两个方面的通用者, 在这个数据量称雄的时代,越来越起到至关重要的作用,在和同事进行交流的时候,kafka在开发的过程中如何使用能起到最大的效果成为话题之一 ...
Kafka(生产者)
Kafka 1.概述 1.1 消息队列 1.1.1 传统消息队列的应用场景 1.1.2 消息队列的两种模式 1.2 kafka基础结构 2.kafka的快速入门 2.1 集群部署 2.1.1 安装ja ...
Confluent之Kafka Connector初体验
概述背景 Apache Kafka 是最大.最成功的开源项目之一,可以说是无人不知无人不晓,在前面的文章<Apache Kafka分布式流处理平台及大厂面试宝典>我们也充分认识了Kafk ...
Cris 玩转大数据系列之消息队列神器 Kafka
Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 文章目录 Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 1. Kafka 概述 1.1 消息队 ...
Kafka学习记录(三)——Broker
Kafka学习记录(三)--Broker 目录 Kafka学习记录(三)--Broker 对应课程 Zookeeper存储的Kafka信息 Broker总体工作流程 Broker的服役和退役 Kafk ...

Kafka(一)：概述

1. Kafka定义

2. 传统消息队列应用场景

3. 消息队列的两种模式

4. kafka名词说明

Kafka(一)：概述相关推荐

最新文章

热门文章