搭建 Kafka 集群（v2.12-2.3.0）

服务器：10.20.32.121，10.20.32.122，10.20.32.123

三台服务器都需要安装jdk、配置zookeeper、配置kafka

1、安装配置jdk1.8

[root@localhost ~]# cat /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_101
export PATH=$JAVA_HOME/bin:$PATH

2、安装配置zookeeper集群

3、安装配置kafka集群(以10.20.32.121配置为例)

3.1、下载解压文件

[root@node3 cluster]# cd /opt && wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz
[root@node3 cluster]# tar zxvf kafka_2.12-2.3.0.tgz

3.2、编辑配置文件/opt//kafka_2.12-2.3.0/config/server.properties，以下是需要修改的部分

broker.id=121
listeners=PLAINTEXT://10.20.32.121:9092
log.dirs=/opt/kafka_2.12-2.3.0/kafkalogs
zookeeper.connect=10.20.32.121:2181,10.20.32.122:2181,10.20.32.123:2181
# Timeout in ms for connecting to zookeeper需修改，不然报超时
zookeeper.connection.timeout.ms=60000

注意：

如果是单机版的话，使用默认配置即可。

如果是配置集群，下面信息必须修改：

（1）、broker.id：同一个集群中，每台机器均不能一样

（2）、zookeeper.connect：因为我有3台zookeeper服务器，所以在这里zookeeper.connect设置为3台，必须全部加进去

（3）、listeners：在配置集群的时候，必须设置，不然以后的操作会报找不到leader的错误
10.20.32.122与10.20.32.123服务器只需要修改broker.id、listeners值，broker.id=122 listeners=PLAINTEXT://10.20.32.122:9092,broker.id=123 listeners=PLAINTEXT://10.20.32.123:9092

4、启动zookeeper、kafka

/opt/zookeeper-3.4.10/bin/zkServer.sh start

/opt/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /opt/kafka_2.12-2.3.0/config/server.properties

5、测试

10.20.32.121上创建test主题:
/opt/kafka_2.12-2.3.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
10.20.32.122、10.20.32.123上查看topic：
/opt/kafka_2.12-2.3.0/bin/kafka-topics.sh --list --zookeeper localhost:2181

转载于:https://www.cnblogs.com/zhangmingcheng/p/11270986.html

搭建 Kafka 集群（v2.12-2.3.0）相关推荐

搭建Kafka集群环境
计划使用三台主机:11.12.112.206.11.12.112.207.11.12.112.208搭建Kafka集群环境, 使用的zookeeper集群为:11.12.112.215:2181,11 ...
Kafka：搭建Kafka集群
博主在之前已经介绍过如何部署Kafka,Kafka的部署模式只有集群模式,Kafka的架构本就是天然的集群架构,因此单节点的部署和多节点的部署是类似的. 集群节点: 节点地址 ZooKeeper 1 ...
Linux 搭建Kafka集群，最新教程，细到极致
大家好呀,今天给大家带来的是,最新版kafka集群的安装教程,希望给小伙伴们一点小小的帮助. 注意:提前安装好jdk, Jdk安装教程 1.准备安装包,Kafka官网下载 2.kafka安装需要z ...
单机搭建kafka集群本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager
Kafka 搭建: 建立Zookeeper容器: 这里我们用最简单的方式创建一个独立的Zookeeper节点,如果要考虑zookeeper的高可用,可以将其做成一个集群,最好是能有多台机器. $ do ...
docker环境，搭建kafka集群
https://zhuanlan.zhihu.com/p/114968151 docker环境,搭建kafka集群
单机搭建kafka集群本地_10分钟搭建单机Kafka集群
单机版kafka集群有什么作用练习上手用. 搭建zookeeper集群首先下载zookeeper解压 apache zookeeper tar -zxvf apache-zookeeper-3.5. ...
Docker搭建Kafka集群
对于个人开发者而言,一般手头上没有多台服务器,有人可能会有云服务器,不过一般也只会买一台来用用就好:有人可能更习惯将本机当作服务器来玩.都可以.那么如何通过一台服务器或本机来搭建Kafka集群呢? 无 ...
docker-compose快速搭建kafka集群
文章目录前言 docker-compose快速搭建kafka集群(较详细) docker-compose快速搭建Zookeeper集群+kafka集群参考资料前言当前是在学习kafka3.0的 ...

搭建 Kafka 集群（v2.12-2.3.0）

搭建 Kafka 集群（v2.12-2.3.0）相关推荐

最新文章

热门文章

搭建 Kafka 集群 （v2.12-2.3.0）

搭建 Kafka 集群 （v2.12-2.3.0）相关推荐

最新文章

热门文章

搭建 Kafka 集群（v2.12-2.3.0）

搭建 Kafka 集群（v2.12-2.3.0）相关推荐