Kafka学习——基于已有zookeeper集群实现kafka的集成

1.准备工作

1）需要准备两台虚拟机，并部署zookeeper集群，分别为leader和follower

2）下载kafka安装文件：http://kafka.apache.org/downloads

这里建议下载的是 Scala 2.11 - kafka_2.11-2.0.0.tgz 这个版本，本人使用的也是这个版本

2.开始

2.1 kafka的解压安装

1）打开两台虚拟机，启动zookeeper集群

这里需要关闭防火墙才能正常启动zookeeper集群，我们可以看到两个zookeeper集群的状态：

上面这个是leader，另外一个为follower

2）在适当的位置创建kafka文件夹并解压下载的kafka文件

- 在/opt文件夹下创建kafka文件夹，并解压下载的文件

//创建kafka文件夹 （opt目录下）
mkdir kafka
//进入文件夹
cd kafka
//解压下载好的文件
tar -zxvf kafka_2.11-2.0.0.tgz
//修改文件名称为kafka——leader
mv kafka_2.11-2.0.0 kafka_leader
//进入文件夹
cd kafka_leader
//创建消息的logs文件夹
mkdir logs
//进入配置中心
cd conf
//备份需要修改的配置文件
cp server.properties server.properties.bak

server.properties文件中需要添加和修改的配置如下：

broker.id=0 // 节点id 每个节点的必须不一样

host.name=192.168.58.128 //服务器地址

advertised.host.name=192.168.58.128

listeners=PLAINTEXT://192.168.58.128:9092

advertised.listeners=PLAINTEXT://192.168.58.128:9092

log.dirs=/opt/kafka/kafka_leader/logs //消息文件存储路径

num.partitions=2 //设置zookeeper集群数目

zookeeper.connect=192.168.58.128:2181,192.168.58.129:2181 //zookeeper集群地址

3）使用同样的方式在配置第二个broker

4）启动两个kafka节点

 ./kafka-server-start.sh /opt/kafka/kafka_leader/config/server.properties &

5）此时我们可以看到两个kafka节点就已经被运行起来了

在这里的日志中，我们也可以看之前的一些配置信息：

等等类似的配置信息

2.2 测试集群安装

我们将第一台虚拟机作为生产者，实现数据产生，在第一个虚拟机中输入如下命令，创建一个topic，并启动生产者：

./kafka-console-producer.sh --broker-list 192.168。58.128:9092,192.168.58.129:9092 --topic my-replicated-topic5

输入上面命令后，我们会看到如下的情况：

第二台命令作为消费者消费第一台服务器产生的消息

./kafka-console-consumer.sh --bootstrap-server 192.168.0.128:9092,192.168.58.129:9092 --from-beginning --topic my-replicated-topic5

此时我们在生产服务器上输入消息，然后产看消费者服务器，如果可以看到对应的消息，就代表我们配置成功了

2.3 在idea中使用java代码实现kafka集群中的相关操作