搭建说明

Kafka通过Zookeeper维护集群成员的信息。watch zk path，处理相关事件。因此需要先搭建zk集群。
请先参考 【记录】zookeeper集群搭建详细步骤 完成zookeeper集群搭建。

如果zookeeper集群已成功搭建完成，下面开始搭建kafka集群。

需要环境：

实例1 实例2 实例3
IP 192.168.11.11 192.168.11.12 192.168.11.13
OS centos7.9 centos7.9 centos7.9
zk zookeeper-3.8.0 zookeeper-3.8.0 zookeeper-3.8.0
kafka kafka_2.13-3.1.0 kafka_2.13-3.1.0 kafka_2.13-3.1.0
java JDK8 JDK8 JDK8

1.创建目录

# 工作目录
mkdir -p /usr/local/kafka

在三台实例上重复上述操作

2.安装包

# 下载
cd /usr/local/kafka
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.1.0/kafka_2.13-3.1.0.tgz

# 解压tar zxf kafka_2.13-3.1.0.tgz

在三台实例上重复上述操作

3.配置修改

实例1

cd /usr/local/kafka/kafka_2.13-3.1.0/config
vim server.properties

这里只关注且需要修改的配置项：broker.id、listeners、zookeeper.connect。

broker.id=0
listeners=PLAINTEXT://192.168.11.11:9092
zookeeper.connect=192.168.11.11:2181,192.168.11.12:2181,192.168.11.13:2181

实例2

cd /usr/local/kafka/kafka_2.13-3.1.0/config
vim server.properties

这里只关注且需要修改的配置项：broker.id、listeners、zookeeper.connect。

broker.id=1
listeners=PLAINTEXT://192.168.11.12:9092
zookeeper.connect=192.168.11.11:2181,192.168.11.12:2181,192.168.11.13:2181

实例3

cd /usr/local/kafka/kafka_2.13-3.1.0/config
vim server.properties

这里只关注且需要修改的配置项：broker.id、listeners、zookeeper.connect。

broker.id=2
listeners=PLAINTEXT://192.168.11.13:9092
zookeeper.connect=192.168.11.11:2181,192.168.11.12:2181,192.168.11.13:2181

4.配置Systemctl kafka服务

启动kafka服务依赖zookeeper服务。 配置kafka.service之前，请确保 【记录】zookeeper集群搭建详细步骤
中zookeeper.service配置完成。 如果确定zookeeper.service配置完成，继续下述操作：

cd /lib/systemd/system/
#创建kafka服务文件
vim kafka.service

[Unit]
Description=broker(Apache Kafka server)
After=network.target  zookeeper.service[Service]
Type=simple
Environment="PATH=/usr/local/jdk1.8.0_311/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
User=root
Group=root
ExecStart=/usr/local/kafka/kafka_2.13-3.1.0/bin/kafka-server-start.sh /usr/local/kafka/kafka_2.13-3.1.0/config/server.properties
ExecStop=/usr/local/kafka/kafka_2.13-3.1.0/bin/kafka-server-stop.sh
Restart=on-failure[Install]
WantedBy=multi-user.target

刷新systemctl

systemctl daemon-reload

设置kafka服务开机自启

systemctl enable kafka

启动kafka

systemctl start kafka

在三台实例上重复上述操作

其它操作

关闭kafka

systemctl stop kafka

重启kafka

systemctl restart kafka

查看kafka实例状态

systemctl status kafka

5.常用命令（Testing）

创建一个Topic

/usr/local/kafka/kafka_2.13-3.1.0/bin/kafka-topics.sh --create --topic enic-test-topic --bootstrap-server 192.168.11.11:9092,192.168.11.12:9092,192.168.11.13:9092 --partitions 1 --replication-factor 1

list Topic

/usr/local/kafka/kafka_2.13-3.1.0/bin/kafka-topics.sh --list --bootstrap-server 192.168.11.11:9092,192.168.11.12:9092,192.168.11.13:9092

创建生产者

/usr/local/kafka/kafka_2.13-3.1.0/bin/kafka-console-producer.sh --broker-list 192.168.11.11:9092,192.168.11.12:9092,192.168.11.13:9092 --topic enic-test-topic

创建消费者

/usr/local/kafka/kafka_2.13-3.1.0/bin/kafka-console-consumer.sh --bootstrap-server 192.168.11.11:9092,192.168.11.12:9092,192.168.11.13:9092 --topic enic-test-topic --from-beginning

以上，kafka集群搭建完成。

kafka集群搭建详细步骤相关推荐

  1. Kafka集群部署详细步骤（包含zookeeper安装步骤）

    Kafka集群部署 注意:如果jdk1.8和zookeeper都安装设置过之后可以直接安装kafka跳过其它步骤 kafka基础简介及基本命令 1.环境准备 1.1集群规划 node01  node0 ...

  2. Hadoop集群搭建详细步骤大全

    0- Hadoop运行环境搭建 1.1,安装虚拟机 1)安装虚拟机 IP地址192.168.10.100.主机名称hadoop100,4G.硬盘50G (安装vm和光盘,注意放在内存大的硬盘上) (1 ...

  3. slurm-gpu集群搭建详细步骤

    初衷 首先,slurm搭建的初衷是为了将我多个GPU机器连接起来,从来利用多台机器的计算能力,提高计算效率,之前使用过deepops去搭建,结果最后好像deepops对GPU的卡有要求,我的每台机器卡 ...

  4. 全网最详细的ambari集群搭建详细步骤

    目录 1.服务器环境说明 2.防火墙设置 3.禁用selinux 4.配置jdk和mysql驱动 5.安装Mysql 6.mysql密码操作 7.安装httpd服务 8.安装ntp 9.ntp配置 1 ...

  5. 大数据之超级详细的KafKa集群搭建过程

    大数据 大数据之超级详细的KafKa集群搭建过程 文章目录 大数据 大数据之超级详细的KafKa集群搭建过程 前言 一.Kafka集群配置方法 1.1 将Kafka的安装包上传到虚拟机,并解压(三个虚 ...

  6. redis3.0.0 集群安装详细步骤

    2019独角兽企业重金招聘Python工程师标准>>> redis3.0.0 集群安装详细步骤 博客分类: 缓存 Redis集群部署文档(centos6系统) (要让集群正常工作至少 ...

  7. redis3.0.2 分布式集群安装详细步骤

    redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史 时间 版本 说明 编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 cs ...

  8. Debezium系列之：使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档

    Debezium系列之:使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档 一.概述 二.连接器的工作原理 1.安全 2.快照 3.Ad hoc snapshots ...

  9. Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档

    Debezium系列之:使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档 一.Debezium概述 二.SQL Server 连接器的工作原理 1.Snapshot ...

  10. 转-Kafka【第一篇】Kafka集群搭建

    转自: https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景 在我们大 ...

最新文章

  1. MySQL存储过程---动态的表名
  2. easybcd安装Ubuntu
  3. Linux下ps查找进程用kill终止命令
  4. 国内第一本micropython的书出版《机器人Python极客编程入门与实战》
  5. linux上传文件操作,每天一个linux命令（文件上传下载文件操作）：【转载】gzip命令(示例代码)...
  6. java普通类跳转到jsp_JSP跳转到Servlet的两种配置
  7. python存储数据丢失的存储器是_数据缺失值的4种处理方法
  8. 参会人员管理系统C语言代码,某小型会议参会人员管理系统
  9. debug.keystore文件找不到
  10. ad15原理图中变压器种类_「知识」共轭结构整流变压器低压输出三排八列短网结构引线布置...
  11. 一秒等于多少毫秒_全国首批！海宁5G正式商用！用手机的人必看！快多少？价贵吗？怎么换？...
  12. 如何连接oracle 12c可插拔数据库
  13. Java中单例设计模式总结
  14. 超燃！高效 MacBook 工作环境配置，超实用！
  15. C++ 多线程--STL库 总结版 （详细）
  16. 惊爆：江民公司官方网站今日被黑
  17. 利用Python进行数据分析之超市零售分析
  18. idea启动项目报错内存资源不足的问题
  19. 多级列表为“第一章”下产生含“阿拉伯数字章节号”的题注（word题注自定义）
  20. 楷体描红字帖练起来@简洁字帖

热门文章

  1. linux环境下，集群中Hadoop版本更换
  2. IDEA配置Android-SDK
  3. arduino简易电子琴
  4. Win11 如何跳过微软注册界面
  5. scrum敏捷开发与测试
  6. java二级线程_计算机二级辅导:Java线程新特征(原子量)
  7. 基于ssh的会议室管理系统（源码免费下载）
  8. 直击DTCC2018 阿里数据库技术干货全面解析
  9. zemax光学设计高阶优化
  10. 【平面设计基础】11：配色——配色原理