kafka集群配置(三台机器)

前提：kafka基于zookeeper配置

解压安装包

###将压缩包压缩到指定位置tar -zxvf kafka_2.11-1.01.tgz -C /usr/local/src/

改名

mv kafka_2.11-1.0.1 kafka

修改环境变量

##只对root用户生效vim /root/.bash_profile##kafka
export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin

分发环境变量

scp /root/.bash_profile slave1:/root/.bash_profile
scp /root/.bash_profile slave2:/root/.bash_profile##激活环境变量
source /root/.bash_profile

配置kafka配置文件

cd /usr/local/src/kafka/configvim server.properties##修改broker.id为整数三台服务器不能一样
borker.id=1
delete.topic.enable=true##修改路径
log.dirs=/usr/local/src/kafka/logs##修改主机名：端口号
zookeeper:connect=master:2181,slave1:2181,slave2:2181

分发kafka文件

scp -r /usr/local/src/kafka slave1:/usr/local/src/
scp -r /usr/local/src/kafka slave2:/usr/local/src/##分别修改slave1和slave2的broker.id
slave1   borker.id=2
slave2   borker.id=3

启动服务

##退回到kafka文件夹下kafka-server-start.sh -daemon config/server.properties

查看服务

jps

1）查看当前服务器中的所有topic

 bin/kafka-topics.sh --zookeeper master:2181 --list

2）创建topic

##创建副本为三，分区数为一的分区bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 3 --partitions 1 --topic first选项说明：
--topic 定义topic名
--replication-factor  定义副本数
--partitions  定义分区数

3）删除topic

bin/kafka-topics.sh --zookeeper master:2181 --delete --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

4）发送消息

bin/kafka-console-producer.sh --broker-list master:9092 --topic first

5）消费消息


##换slave1机器上启动
bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic first

6）查看某个Topic的详情

bin/kafka-topics.sh --zookeeper master:2181 --describe --topic first

kafka集群配置(三台机器)相关推荐

ELK5.3+Kafka集群配置
[一]资源准备 # 3台4C*8G, 安装Zookeeper.Kafka.Logstash--Broker(input: filebeat; output: Kafka) 10.101.2.23 10 ...
汽车位置服务之kafka集群配置注意事项
1) 重复消费问题. 问题描述采用kafka读取消息进行处理时,consumer会重复读取afka队列中的数据. 问题原因 kafka的consumer消费数据时首先会从broker里读取一批 ...
【kafka】Kafka 集群配置SASL+ACL
1.概述转载:https://www.cnblogs.com/xiao987334176/p/10110389.html 想根据这个做个试验,但是现在不行试试.以后用的时候试试一.简介在Kafk ...
kafka集群配置之kafka启动了创建topic报错：Replication factor: 1 larger than avail
大家好, 我是上白书妖! 知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正 kafka启动了创建topic报错:Replicati ...
Kafka集群搭建实战
Kafka集群搭建实战集群结构: 集群环境信息: 192.168.157.130 192.168.157.131 192.168.157.129 Zookeeper集群搭建三台机器上均安装JDK( ...
nacos 怎么配置里的配置ip_nacos集群配置
一.环境准备 Nacos 依赖 java环境来运行.如果您是从代码开始构建并运行Nacos,还需要为此配置 Maven环境,请确保是在以下版本环境中安装使用: 64 bit OS,支持 Linux/U ...
kafka集群参数配置(下)
今天我们继续来聊那些重要的 Kafka 集群配置,下半部分主要是 Topic 级别参数.JVM 参数以及操作系统参数的设置. 在上一期中,我们讨论了 Broker 端参数设置的一些法则,但其实 Kaf ...
kafka sasl java_Kafka 集群配置SASL+ACL
** Kafka 集群配置SASL+ACL 测试环境:** 系统: CentOS 6.5 x86_64 JDK : java version 1.8.0_121 kafka: kafka_2.11-1 ...
基于docker搭建zookeeper集群、kafka集群
zookeeper集群搭建 https://www.cnblogs.com/znicy/p/7717426.html #Docker中搭建zookeeper集群,昵称:zni.feng htt ...

kafka集群配置(三台机器)

kafka集群配置(三台机器)相关推荐

最新文章

热门文章