搭建Kafka集群环境

计划使用三台主机：11.12.112.206、11.12.112.207、11.12.112.208搭建Kafka集群环境，

使用的zookeeper集群为：11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181

并且zookeeper集群已经启动成功；

1.下载压缩包：

kafka_2.11-0.8.2.2.tgz

并将之放在某个目录下，例如：/home/jason/bigdata

2.解压缩到当前目录下：

tar -xvf kafka_2.11-0.8.2.2.tgz

3.进入Kafka的目录

[root@clsserv206 bigdata]# cd kafka_2.11-0.8.2.2

[root@clsserv206 kafka_2.11-0.8.2.2]# ll

总用量 28

drwxr-xr-x. 3 root root 4096 9月 3 2015 bin

drwxr-xr-x. 2 root root 4096 9月 3 2015 config

drwxr-xr-x. 2 root root 4096 9月 3 2015 libs

-rw-r--r--. 1 root root 11358 9月 3 2015 LICENSE

-rw-r--r--. 1 root root 162 9月 3 2015 NOTICE

4.修改Kafka的配置文件

4.1.配置文件路径

配置文件位于kafka_2.11-0.8.2.2/config目录下，共有如下配置文件：

/home/jason/bigdata/kafka_2.11-0.8.2.2/config

[root@clsserv206 config]# ll

总用量 32

-rw-r--r--. 1 root root 1199 9月 3 2015 consumer.properties

-rw-r--r--. 1 root root 3846 9月 3 2015 log4j.properties

-rw-r--r--. 1 root root 2228 9月 3 2015 producer.properties

-rw-r--r--. 1 root root 5559 9月 3 2015 server.properties

-rw-r--r--. 1 root root 3325 9月 3 2015 test-log4j.properties

-rw-r--r--. 1 root root 993 9月 3 2015 tools-log4j.properties

-rw-r--r--. 1 root root 1023 9月 3 2015 zookeeper.properties

4.2. 修改配置文件server.properties

共修改以下配置：

#为方便，直接将broker.id设置为了ip的最后一段，当集群中有多个Kafka时，他们的这个值必须不一样

broker.id=206

#端口暂时不变

port=9092

#IP修改为本机的IP

host.name=11.12.112.206

#可选配置项，将日志输出到指定的位置

log.dirs=/home/logs/kafka-logs

#必须配置自己的zookeeper

zookeeper.connect=11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181

4.3. 为加快配置可将这里修改好的配置文件server.properties复制到其他几个主机（207、208）

上的相应目录/home/jason/bigdata/下，使用命令示例：

scp -r kafka_2.11-0.8.2.2 root@11.12.112.207:/home/jason/bigdata/

scp -r kafka_2.11-0.8.2.2 root@11.12.112.208:/home/jason/bigdata/

【注意】拷贝过去之后要记得仿照修改配置文件server.properties中最主要的

两个配置项：broker.id和host.name，zookeeper的地址列表不变。

5.启动Kafka

进入目录：/home/jason/bigdata/kafka_2.11-0.8.2.2，执行命令：

sudo nohup ./bin/kafka-server-start.sh config/server.properties &

然后在其他集群上按照同样方式配置并启动Kafka；

6.判断Kafka是否启动成功

通过在一台server上创建producer，另外一台创建consumer，从producer上发送信息，看consumer是否能接收到，以验证集群对否成功。

6.1创建topic

使用bin目录下的kafka-topics.sh，

命令为：

sudo ./bin/kafka-topics.sh -zookeeper 11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 -topic test-hello-jason -replication-factor 2 -partitions 5 -create

其中：-zookeeper之后要指定zookeeper集群的地址列表，-topic之后指定topic的地址。

如下所示：

[root@clsserv206 kafka_2.11-0.8.2.2]# sudo ./bin/kafka-topics.sh -zookeeper 11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 -topic test-hello-jason -replication-factor 2 -partitions 5 -create

可看到输出结果：

Created topic "test-hello-jason".

6.2 查看topic创建情况

使用命令：

sudo ./bin/kafka-topics.sh -zookeeper 11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 -list

命令执行之后，即可看到刚才创建的topic：如下所示：

[root@clsserv206 kafka_2.11-0.8.2.2]# sudo ./bin/kafka-topics.sh -zookeeper 11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 -list

flume_log

idgen

new_log_1

new_ps_log_1

ng_log

nglog

ps_log1

ps_log_new - marked for deletion

ps_log_new_1

test-hello-jason

6.3 创建一个生产者

在11.12.112.206主机的Kafka上启动一个producer，使用Kafka自带的kafka-console-producer.sh来启动，命令如下：

sudo ./bin/kafka-console-producer.sh -broker-list 11.12.112.206:9092,11.12.112.207:9092,11.12.112.208:9092 -topic test-hello-jason

【注意】这里要通过-broker-list来指定Kafka集群的地址列表。

执行结果如下：

[root@clsserv206 kafka_2.11-0.8.2.2]# sudo ./bin/kafka-console-producer.sh -broker-list 11.12.112.206:9092,11.12.112.207:9092,11.12.112.208:9092 -topic test-hello-jason

[2016-09-09 15:10:05,540] WARN Property topic is not valid (kafka.utils.VerifiableProperties)

6.4 创建一个消费者

在11.12.112.207主机的kafa上启动一个消费者，使用Kafka的bin目录下自带的kafka-console-consumer.sh来启动，命令如下：

sudo ./bin/kafka-console-consumer.sh -zookeeper 11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 - from-begining -topic test-hello-jason

【注意】这里通过-zookeeper指定zookeeper的地址列表，而不是Kafka的地址列表，要通过-topic来指定topic；

执行结果如下：

[root@cluster207 kafka_2.11-0.8.2.2]# sudo ./bin/kafka-console-consumer.sh -zookeeper 11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 - from-begining -topic test-hello-jason

6.5 尝试收发消息

在生产者那里发送一条消息：

hello i am jason

如下：

[2016-09-09 15:10:05,540] WARN Property topic is not valid (kafka.utils.VerifiableProperties)

hello i am jason

在接收者那里就会收到：

[root@cluster207 kafka_2.11-0.8.2.2]# sudo ./bin/kafka-console-consumer.sh -zookeeper 11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181 - from-begining -topic test-hello-jason

hello i am jason

至此说明Kafka搭建成功

搭建Kafka集群环境相关推荐

高吞吐消息中间件Kafka集群环境搭建（3台kafka，3台zookeeper）
高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...
docker环境，搭建kafka集群
https://zhuanlan.zhihu.com/p/114968151 docker环境,搭建kafka集群
融云发送自定义消息_数据源管理 | Kafka集群环境搭建，消息存储机制详解
一.Kafka集群环境 1.环境版本版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部署. 2.解压重命名 tar -zxvf kafka_2. ...
数据源管理 | Kafka集群环境搭建，消息存储机制详解
本文源码:GitHub·点这里 || GitEE·点这里一.Kafka集群环境 1.环境版本版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部 ...
单机搭建kafka集群本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
Kafka：搭建Kafka集群
博主在之前已经介绍过如何部署Kafka,Kafka的部署模式只有集群模式,Kafka的架构本就是天然的集群架构,因此单节点的部署和多节点的部署是类似的. 集群节点: 节点地址 ZooKeeper 1 ...
Linux 搭建Kafka集群，最新教程，细到极致
大家好呀,今天给大家带来的是,最新版kafka集群的安装教程,希望给小伙伴们一点小小的帮助. 注意:提前安装好jdk, Jdk安装教程 1.准备安装包,Kafka官网下载 2.kafka安装需要z ...
Docker搭建Kafka集群
对于个人开发者而言,一般手头上没有多台服务器,有人可能会有云服务器,不过一般也只会买一台来用用就好:有人可能更习惯将本机当作服务器来玩.都可以.那么如何通过一台服务器或本机来搭建Kafka集群呢? 无 ...
docker-compose快速搭建kafka集群
文章目录前言 docker-compose快速搭建kafka集群(较详细) docker-compose快速搭建Zookeeper集群+kafka集群参考资料前言当前是在学习kafka3.0的 ...

搭建Kafka集群环境

搭建Kafka集群环境相关推荐

最新文章

热门文章