docker swam 安装kafka集群以及kfakamanger

前面搭建过单节点zookeeper的kafka集群,但是操作起来很不方便,因此这次试着搭建一个带有管理界面kafka-manager的kafka集群.

1、创建docker-compose的yml文件
创建kafka文件夹,并在目录下编写docker-compose-zoosingle-manage-kafka.yml文件

version: '3'
services:zookeeper:image: zookeepercontainer_name: zookeeperports:- "2181:2181"kafka1:image: wurstmeister/kafkaports:- "9092:9092"environment:KAFKA_ADVERTISED_HOST_NAME: localhostKAFKA_CREATE_TOPICS: TestComposeTopic:4:3KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181KAFKA_BROKER_ID: 1KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092container_name: kafka01volumes:- /var/run/docker.sock:/var/run/docker.sockkafka2:image: wurstmeister/kafkaports:- "9093:9093"environment:KAFKA_ADVERTISED_HOST_NAME: localhostKAFKA_ZOOKEEPER_CONNECT: zookeeper:2181KAFKA_BROKER_ID: 2KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9093KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093container_name: kafka02volumes:- /var/run/docker.sock:/var/run/docker.sockkafka3:image: wurstmeister/kafkaports:- "9094:9094"environment:KAFKA_ADVERTISED_HOST_NAME: localhostKAFKA_ZOOKEEPER_CONNECT: zookeeper:2181KAFKA_BROKER_ID: 3KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9094KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094container_name: kafka03volumes:- /var/run/docker.sock:/var/run/docker.sockkafka-manager:  image: sheepkiller/kafka-managerenvironment:ZK_HOSTS: 106.54.1.220ports:  - "9000:9000"

2、启动集群

# docker-compose -f docker-compose-zoosingle-manage-kafka.yml up -d

docker会根据yml文件拉取相应的镜像创建容器,并一键启动集群
如下

Creating network "kafka_default" with the default driver
Pulling zookeeper (zookeeper:latest)...
latest: Pulling from library/zookeeper
763de41d8bd6: Pull complete
c05f5d1c0b05: Pull complete
Digest: sha256:00e2815c75b95f4bfc55d8f2ded99b72c27aee5a8690788f09e9139695ec5e0d
Status: Downloaded newer image for zookeeper:latest
Creating kafka01 ...
Creating kafka02 ...
Creating zookeeper ...
Creating kafka03 ...
Creating kafka_kafka-manager_1 ...
Creating kafka02
Creating zookeeper
Creating kafka01
Creating kafka03
Creating kafka03 ... done

查看容器启动状态

# docker ps -a

3、访问管理界面
http://localhost:9000/

4、增加kafka节点

Cluster Zookeeper Hosts :宿主机ip:2181
选择对应版本号的:2.4.0

保存可能会报错
Yikes! KeeperErrorCode = Unimplemented for /kafka-manager/mutex Try again.
这主要是由于zookeeper的版本过低导致的, zookeeper至少要3.5.x version以上,才可以,重新拉去最新版本的zookeeper,重启集群即可
查看zookeeper版本号

# echo stat|nc localhost 2181

Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
Clients:/172.19.0.2:38668[1](queued=0,recved=109,sent=112)/172.19.0.4:35832[1](queued=0,recved=66,sent=66)/172.19.0.3:44524[1](queued=0,recved=66,sent=66)/106.54.1.220:50420[1](queued=0,recved=29,sent=29)/172.19.0.1:39770[0](queued=0,recved=1,sent=0)Latency min/avg/max: 0/2/35
Received: 281
Sent: 283
Connections: 5
Outstanding: 0
Zxid: 0x4f
Mode: standalone
Node count: 42

再次访问

docker swam 安装kafka集群以及kfakamanger相关推荐

[docker] docker-compose安装kafka集群
前言之前有介绍docker-compose的网络模块和使用docker-compose安装zookeeper集群.([docker] docker-compose安装zookeeper集群) 在本章 ...
备份k8s_树莓派k8s集群安装kafka集群及监控
安装准备树莓派k8s集群 root@pi4-master01:~# kubectl get nodes -o wideNAME STATUS ROLES AGE VERSION INTERNAL-I ...
【kafka专栏】使用shell脚本快速安装kafka集群(含视频)
我们本节来正式安装kafka集群,安装kafka集群主要的方式有两种:一种是纯手动安装,一种是使用自动化shell脚本安装.纯手动安装的方式需要一台服务器.一台服务器的去操作,在服务器较多的情况下工作 ...
Kafka：Docker Compose部署Kafka集群
创建目录用于存放Docker Compose部署Kafka集群的yaml文件: mkdir -p /root/composefile/kafka/ 写入该yaml文件: vim /root/compo ...
docker 安装Kafka集群
文章目录前言一.安装Zookeeper.Kafka 二.启动 1.启动Zookeeper 2.启动Kafka 3.搭建Kafka集群前言提示:这里可以添加本文要记录的大概内容: 例如:随着人工 ...
docker快速搭建kafka集群
一.准备工作 1.拉取kafka镜像 docker pull wurstmeister/kafka docker tag docker.io/wurstmeister/kafka kafka dock ...
[docker] docker-compose安装zookeeper集群
前言之前有介绍docker-compose的网络模块. 基础依赖 docker & docker-compose 基本思路想法1 首先. 我们, 需要去docker的官网去查看是否有官方的 ...
使用docker方式安装etcd集群，带TLS证书
网上文档也多,安装的时候,还是踩了几个坑. 现在作一个安装记录吧. 1,先作自签名的证书ca-csr.json(为了和k8s共用根证书,可能将信息调为k8s). {"CN": &q ...
docker compose安装redis集群、集群扩容、集群收缩
目录一.redis 配置信息模板二.编写批量生成配置文件脚本三.批量生成配置文件四.编写 docker-compose 文件五.做集群.分配插槽六.测试: 七.手动扩容八.添加主从节点 ...

docker swam 安装kafka集群以及kfakamanger

2、启动集群

docker swam 安装kafka集群以及kfakamanger相关推荐

最新文章

热门文章