查看kafka的主从状态_Kafka 集群部署
ip地址 主机名 安装软件
192.168.20.40 k8s-master zookeeper、kafka
192.168.20.43 k8s-node2 zookeeper、kafka
192.168.20.39 k8s-node3 zookeeper、kafka
三个节点安装zookeeper
[root@k8s-master data]# tar -zxvf zookeeper-3.4.10.tar.gz
[root@k8s-master data]# mv zookeeper-3.4.10 /data/zookeeper
[root@k8s-master data]# scp -r zookeeper root@192.168.20.43:/data/
[root@k8s-master data]# scp -r zookeeper root@192.168.20.39:/data/
修改三个节点的zookeeper的配置文件
[root@k8s-master ~]# mkdir /data/zookeeper/data
[root@k8s-master ~]# cp /data/zookeeper/conf/zoo_sample.cfg /data/zookeeper/conf/zoo_sample.cfg.back
[root@k8s-master ~]# cp /data/zookeeper/conf/zoo_sample.cfg /data/zookeeper/conf/zoo.cfg
[root@k8s-master ~]# vim /data/zookeeper/conf/zoo.cfg
[root@k8s-master ~]# more /data/zookeeper/conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/data/zookeeper/data/zookeeper
dataLog=/data/zookeeper/data/logs
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
maxClientCnxns=60
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=192.168.20.40:2888:3888
server.2=192.168.20.43:2888:3888
server.3=192.168.20.39:2888:3888
启动zookeeper服务前,分别在三个zookeeper节点上创建myid
[root@k8s-master ~]# mkdir /data/zookeeper/data/zookeeper
[root@k8s-master ~]# echo 1 > /data/zookeeper/data/zookeeper/myid
[root@k8s-node2 ~]# mkdir /data/zookeeper/data/zookeeper
[root@k8s-node2 ~]# echo 2 > /data/zookeeper/data/zookeeper/myid
[root@k8s-node3 ~]# mkdir /data/zookeeper/data/zookeeper
[root@k8s-node3 ~]# echo 3 > /data/zookeeper/data/zookeeper/myid
[root@k8s-master ~]# /data/zookeeper/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@k8s-master ~]# ps -ef |grep zookeeper
k8s-node2
k8s-node3
[root@k8s-master ~]# netstat -nltp|grep :2181
tcp6 0 0 :::2181 :::* LISTEN 8962/java
查看zookeeper节点的状态
[root@k8s-node3 ~]# /data/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@k8s-master ~]# /data/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@k8s-node2 ~]# /data/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: leader
安装Kafka
[root@k8s-master ~]# tar -zvxf kafka_2.11-1.1.0.tgz
[root@k8s-master ~]# mv kafka_2.11-1.1.0 /data/kafka
[root@k8s-master ~ src]# cp /data/kafka/config/server.properties /data/kafka/config/server.properties.bak
[root@k8s-master ~]# vim /data/kafka/config/server.properties
broker.id=0
delete.topic.enable=true
listeners=PLAINTEXT://192.168.20.40:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.20.40:2181,192.168.20.43:2181,192.168.20.39:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
其它两个节点只需要修改:broker.id=*和listeners=PLAINTEXT://IP
启动Kafka
[root@k8s-master ~]# nohup /data/kafka/bin/kafka-server-start.sh /data/kafka/config/server.properties >/dev/null 2>&1 &
推荐阅读
Nginx访问控制
Centos安装MongoDB数据库
Mysql8.0 主从GTID复制
Mysqlbinlog日志的清理与切换
mysqldump+binlog恢复被删除的数据
Mysql8.0 主从复制
完整的二进制安装Kubernetes高可用集群
查看kafka的主从状态_Kafka 集群部署相关推荐
- Kafka SASL/SCRAM动态认证集群部署
Kafka SASL/SCRAM动态认证集群部署 目的:配置SASL/PLAIN验证,实现了对Kafka的权限控制.但SASL/PLAIN验证有一个问题:只能在JAAS文件KafkaServer中配置 ...
- Kafka系列(七)、Kafka套件 Confluent Platform 单机/集群部署
目录 简介 单机部署 集群部署 尾巴 Kafka系列: kafka 2.4.1单机版部署及使用 kafka监控系统kafka eagle安装使用 滴滴开源的kafka-manager编译及部署使用 k ...
- redis 主从 + 哨兵模式集群部署(3台机器)
前言 本文只讲如何部署,然后会贴出具体配置,以及如何验证是否部署成功(redis 版本采用 4.0.6 ).既不会介绍 redis 如何安装(本人采用源码安装方式),也不会涉及主从复制,哨兵模式具体原 ...
- Kafka 入门之集群部署遇到问题
最近,因为上级主管部门需要通过使用Kafka向其传输文件,又因为此前没有接触过kafka,所以在部署测试kafka程序期间遇到很多问题,在这里总结4个问题与1个建议,方便入门者参考也便于遇到类似问题进 ...
- kafka 集群_kafka 集群及原理
kafka 依赖于zookper,kafka会将集群信息存放在zookper中,所有要先搭建 zookper集群,再搭建kafka集群. zookper 集群 zookeeper/conf/zoo.c ...
- kafka 基础知识梳理及集群环境部署记录
一.kafka基础介绍 Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特 ...
- zookeeper+kafka集群部署+storm集群
zookeeper+kafka集群部署+storm集群 一.环境安装前准备: 准备三台机器 操作系统:centos6.8 jdk:jdk-8u111-linux-x64.gz zookeeper:zo ...
- 搭建高吞吐量 Kafka 分布式发布订阅消息 集群
搭建高吞吐量 Kafka 分布式发布订阅消息 集群 简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区. ...
- Redis主从配置和集群配置
Redis主从配置和集群配置 文章目录 Redis主从配置和集群配置 一.Redis主从配置 1.主从概念 2.主从配置 3.数据操作 二.Redis集群配置 1.简介 2.Redis 集群好处 3. ...
最新文章
- Python操作excel文件根据某一字段将相同的类拆分
- postman测试工具中的js代码中的sendRequest()使用详解
- cnn文本分类python实现_CNN文本分类
- 论文简述 | Line Flow Based SLAM
- SPSS基础教程:认识SPSS的主要窗口
- deepin 下安装xdroid
- 第二章 SPSS 的数据管理
- 热敏电阻、RTD、热电偶的原理和特性
- 手绘漫画学习 素描自学视频
- 大白菜pe安装服务器系统安装教程视频教程,大白菜u盘启动盘制作工具安装系统的详细方法...
- 设计模式系列:依赖倒置原则
- 龙芯平台常用OS 及下载链接
- vue二级路由不显示页面bug
- 玉田新世纪计算机学校,玉田新世纪中等专业学校2021年招生简章
- 实现GB28181平台级联到海康平台的级联
- BackTrack 5 R3 Released
- 《通信原理》多径衰落信道仿真1
- 短线黄金做波段的策略分析
- 金立否认裁定破产清算;罗永浩力挽锤子科技负债危局;ofo称现场退押金与线上无异丨雷锋早报...
- 【WebSocket 第一篇】从一个WebSocket连接说起