linux搭建Kafka集群

前置条件

已经安装jdk并配置好环境变量，可参考《centos7安装jdk8》;
已经搭建好zookeeper集群，可参考《搭建zookeeper集群》。
服务器：node1, node3, node4

安装Kafka

1. 下载地址：kafka下载

此处使用的安装包是 kafka_2.11-0.11.0.1.tgz

2. 上传安装包到服务器 node1，解压到指定目录，如 /opt/bigdata,命令如下

tar -zxvf kafka_2.11-0.11.0.1.tgz -C /opt/bigdata

3. 修改 kafka配置文件，由于配置文件参数较多，只截取修改部分的参数，命令如下

vim /opt/bigdata/kafka_2.11-0.11.0.1/config/server.properties

broker.id 每一个broker在集群中的唯一表示，是正数，kafka及其根据id来识别broker机器。

listeners 服务器监听地址。

log.dirs kakfa 数据保存的位置，多个目录时用逗号分隔。

zookeeper.connect zookeeper集群的地址，多个地址时用逗号分隔。

zookeeper.connection.timeout.ms zooKeeper连接的最大超时时间。

修改完成，保存。

4. 通过远程拷贝命令把node1已经修改好配置文件的kafka分别拷贝到node3和node4，命令如下

scp -r /opt/bigdata/kafka_2.11-0.11.0.1 root@node3:/opt/bigdata

scp -r /opt/bigdata/kafka_2.11-0.11.0.1 root@node4:/opt/bigdata

分别修改node3,node4的 server.properties

vim /opt/bigdata/kafka_2.11-0.11.0.1/config/server.properties

5. 配置kafka的环境变量，命令如下

vim /etc/profile

末尾增加如下图两行内容，保存退出

执行命令 source /etc/profile 使配置的环境变量生效。

注：node1，node3，node4服务器都需要配置kafka的环境。

6. node1，node3，node4服务器都启动kafka，命令如下

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

7.检查集群是否正常运行

1）创建一个topic，命令如下

kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic test1

提示创建topic test1。

2）查询所有topic，命令如下

看到第一个步骤创建的topic test1。

创建和显示topic都没问题则kafka集群搭建成功。