Kafka笔记-Kafka集群搭建

如下有3台虚拟机，对应的IP如下：

下一台

对应的3给IP地址如下：

192.168.94.129

192.168.94.131

192.168.94.132

这里默认jdk 1.8是安装好了的。

首先是安装zookeeper，分布式部署，随后再部署kafka

解压后进入zookeeper，的conf。拷贝一份zoo_sample.cfg为zoo.cfg

修改zoo.cfg

上面3台服务器都是需要这样配置。并且再/tmp/zookeeper创建一个myid文件，写入server.x中的x，这个x。如192.168.94.129中myid为0，192.168.94.131中myid为1

在bin目录里面启动

./zkServer.sh start

这里会在conf下自动去找zoo.cfg文件

如果有问题会出现到

zookeep.out文件夹中记录出现的错误，有问题就查看这个文件。启动成功后。

上面每一台都要这么做。

输入./zkServer.sh status查看状态：

下面是搭建集群kafka

解压kafka后修改config下面的server.properties

添加如下数据：

broker.id=0
listeners=PLAINTEXT://192.168.94.129:9092
zookeeper.connect=192.168.94.129:2181,192.168.94.131:2181,192.168.94.132:2181

这个broker.id=0为/tmp/zookeeper/myid的id。

再修改

meta.properties文件如下

把broker.id添加当前myid的值。

随后就可以启动kafka了。集群就搭建好了

在bin目录下./kafka-server-start.sh ../config/server.properties

这里报错信息会打印到前端，有问题要即使处理。

添加一个topic

./kafka-topics.sh --create --zookeeper 192.168.94.129:2181,192.168.94.131:2181,192.168.94.132:2181 --partitions 3 --replication-factor 3 --topic HelloWorld

往topic里面添加消息

./kafka-console-producer.sh --broker-list 192.168.94.129:9092,192.168.94.131:9092,192.168.94.132:9092 --topic HelloWorld

就可以发送消息了：

随便找某一台进行消费

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic HelloWorld --from-beginning

Kafka笔记-Kafka集群搭建相关推荐

kafka高可用集群搭建
################################################################# 物理环境(两台机子组成的真实集群): Desktop一个zk节点 L ...
kafka简介与集群搭建
Kafka 是一款分布式消息发布和订阅系统,具有高性能.高吞吐量的特点而被广泛应用与大数据传输场景. 由于 kafka 具有更好的吞吐量.内置分区.冗余及容错性的优点(kafka 每秒可以处理几十 ...
Kubernetes--学习笔记-4-Kubernetes 集群搭建过程中常用命令
一,查看版本信息检查错误日志 journalctl -xe tail -f /var/log/messages 查看某个pod详细 kubectl describe pods/<pod名称&g ...
【Kafka】Kafka3.3.1集群搭建指南KRaft版本
目录一.背景和描述二.资源情况三.技术选型四.部署Kraft版本集群五.配置SSL模式六.Springboot使用SSL集成参考资料一.背景和描述考虑资源安全性,需要搭建不依赖Zoo ...
2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的集群搭建以及shell启动命令脚本编写一.搭建 ...
java kafka 集群消费_kafka集群搭建和使用Java写kafka生产者消费者
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群搭建在110, 111,112 2.kafka使 ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...
kafka之四：Kafka集群搭建
1.软件环境 1.linux一台或多台,大于等于2 2.已经搭建好的zookeeper集群 3.软件版本kafka_2.11-0.9.0.1.tgz 2.创建目录并下载安装软件 #创建目录 cd /o ...

Kafka笔记-Kafka集群搭建

Kafka笔记-Kafka集群搭建相关推荐

最新文章

热门文章