1. 启动 ZooKeeper

首先还是启动 ZooKeeper。

set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

cd %KAFKA_HOME%/bin/windows

zookeeper-server-start.bat %KAFKA_HOME%/config/zookeeper.properties

2. 启动 Kafka borker

首先把 config 目录下的 server.properties 复制两份，分别命名为 server-1.properties 和 server-2.properties，然后修改这两个文件的下列属性，确保 log 目录存在哦。

server-1.properties:

broker.id=1

listeners=PLAINTEXT://:9093

log.dirs=D:/0_Shangbo/App/kafka/data/kafka/broker1

server-2.properties:

broker.id=2

listeners=PLAINTEXT://:9094

log.dirs=D:/0_Shangbo/App/kafka/data/kafka/broker2

其中 broker.id 用来唯一标识每一个 broker，由于我们是在同一台机器上运行三个broker，所以我们也需要修改一下listeners
和 log.dirs 属性。当然该文件还有好多其他属性我们可以进行设置，而且对每个属性都进行了说明，你可以仔细的看一下这个属性文件。

现在我们有三个 broker，分别在三个命令行中启动这三个 broker。

set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

cd %KAFKA_HOME%/bin/windows

kafka-server-start.bat %KAFKA_HOME%/config/server.properties

set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

cd %KAFKA_HOME%/bin/windows

kafka-server-start.bat %KAFKA_HOME%/config/server-1.properties

set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

cd %KAFKA_HOME%/bin/windows

kafka-server-start.bat %KAFKA_HOME%/config/server-2.properties

3.创建 topic

新打开一个命令提示符，下面的命令创建了一个名为 topic1 的topic。

set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

cd %KAFKA_HOME%/bin/windows

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic topic1

你有没有想过类似 --create 的这些参数是什么意思呢？在哪里查询它们的意思呢？试一试下面的命令吧。

kafka-topics.bat

也许你已经看了这些参数的意思，但是不一定能理解replication-factor 和 partitions 的真正含义。现在让我们来看看主题(topic)，分区(partition)和日志(log)的关系，你可以把 topic 理解为文件夹，partition 为 topic 下面的子文件夹，log 在 partition 下，而消息保存在 log 中。所以上面的命令中--partitions 3 的意思是在 topic1下创建3个分区。那--replication-factor 2 是什么意思呢？它的意思是将任意一个分区复制到2个broker 上，这样如果一个broker 挂了，我们仍然可以从另一个broker 上获取到消息，那如果有2个broker挂了呢？呵呵，那就真挂了。怎么样？还没理解？不要紧，看看下面的目录结构你就知道了。

等过了一段时间，你可能已经忘记了topic1 是如何定义的了，你想查看它的详情，试试下面的命令吧。

kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1

上面的命令得到如下的输出（重点开始了）：

Topic: topic1 PartitionCount:3 ReplicationFactor:2 Configs:

Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2

Topic: topic1 Partition: 1 Leader: 1 Replicas: 1,0 Isr: 1,0

Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2,1

第一行是对 topic 的概述。
接下来的三行是对每个分区的描述。

每一个分区都有一个broker为leader（所有分区的Leader一般不会全部集中在一个节点），它负责该分区内的所有读写操作，其他broker 被动的复制leader broker。如果leader broker 挂了，那么其他broker中的一个将自动成为该分区的新leader。

Replicas: 0,1 表示该分区保存在 broker 0 和 broker 1下。

Isr: 0,1 （注意首字母小写后是“isr”，不是“L”）表示当前我们可以在 broker 0 和 broker 1 下访问该分区，如果 broker 0挂了，那就像这样子了 Isr: 1

4.发送消息

下面的命令发送一条消息到 topic1。

set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

cd %KAFKA_HOME%/bin/windows

kafka-console-producer.bat --broker-list localhost:9092 --topic topic1

This is a message

5. 接收消息

下面的命令从 topic1 中接收消息。

set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

cd %KAFKA_HOME%/bin/windows

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic1 --from-beginning

ps：其中，--from-beginning的意思是：没被消费的消息都读出来。

6. 关闭 broker 1

现在我们将启动broker 1的命令窗口关闭。然后使用下面的命令再次查看一下 topic1 的状态。

kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1

Topic:topic1 PartitionCount:3 ReplicationFactor:2 Configs:

Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2

Topic: topic1 Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0

Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2

你可以再试着发送一条消息，看看还能否接收到消息。

你也可以再关闭一个broker，然后试着发送一条消息，看看有什么结果。

-- 更多参见：Kafka 精萃
-- 声明：转载请注明出处
-- Last Edited on 2018-06-09
-- Written by ShangBo on 2014-09-03
-- End

转载自：https://blog.csdn.net/LiZhen314/article/details/81029044

Kafka有多个broker的例子——重点是Replicas和lsr和Leader位置相关推荐

Kafka学习记录(三)——Broker
Kafka学习记录(三)--Broker 目录 Kafka学习记录(三)--Broker 对应课程 Zookeeper存储的Kafka信息 Broker总体工作流程 Broker的服役和退役 Kafk ...
Kafka 只有一个broker的例子
-- Start 点击此处观看本系列配套视频首先我们从一个最简单的例子开始,那就是kafka 集群只有一个broker. 1. 启动 ZooKeeper Kafka 使用了 ZooKeeper,所以 ...
Kafka知识总结之Broker原理总结
简介这篇文章介绍Kafka的Broker工作流程,包括其中控制器的选举过程:kafka副本的leader选举以及leader和follower故障流程:简单讲述了生产环境中如何调整分区副本:kafk ...
Kafka单节点单broker的部署和使用
文章目录 1.下载并解压至/app/ 2.配置环境变量 3.修改配置文件 4.启动server 5.创建和查看topic 6.发送消息和消费消息 1.下载并解压至/app/ 官网下载地址:http:/ ...
【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
问题复现近日针对某一客户需求开发了一个需要使用Kafka的功能,功能是什么暂且不论,在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功能,以下是监听topic成功和警告报错: 2023-05 ...
Kafka单节点多broker的部署和使用
拷贝配置文件三份:[hadoop@hadoop000 config]$ cp server.properties server-1.properties[hadoop@hadoop000 config ...
【Kafka】UnsupportedVersionException: The broker does not support DESCRIBE_LOG_DIRS
1.概述背景参考:[Kafka]kafka Java api 获取 kafka topic 或者 partition 占用的磁盘大小这个是因为你的版本不对 Exception in thread ...
【kafka】kerberos认证下 kafka 报错Bootstrap broker host:ip (id: -1 rack: null) disconnected
文章目录 1.概述 1.概述本博文中的IP都是随便写的. 公司整了一个新的环境,然后我要进行适配,结果发现对方有认证,无法直接使用,使用控制台生产和消费的时候报错. [domain_realm][r ...
Kafka Exception：Bootstrap broker disconnected Consumer disconnected
还会导致一些前端服务不可用的现象,都是正常的解决方案:删除容器重新部署

Kafka有多个broker的例子——重点是Replicas和lsr和Leader位置

1. 启动 ZooKeeper

2. 启动 Kafka borker

3.创建 topic

每一个分区都有一个broker为leader（所有分区的Leader一般不会全部集中在一个节点），它负责该分区内的所有读写操作，其他broker 被动的复制leader broker。如果leader broker 挂了，那么其他broker中的一个将自动成为该分区的新leader。

Replicas: 0,1 表示该分区保存在 broker 0 和 broker 1下。

Isr: 0,1 （注意首字母小写后是“isr”，不是“L”）表示当前我们可以在 broker 0 和 broker 1 下访问该分区，如果 broker 0挂了，那就像这样子了 Isr: 1

4.发送消息

5. 接收消息

6. 关闭 broker 1

Kafka有多个broker的例子——重点是Replicas和lsr和Leader位置相关推荐

最新文章

热门文章