Windows10 Kafka Docker 集群搭建

简介

使用 Windows Docker Desktop 搭建 Kafka 集群

运行 Zookeeper

这里使用但 zk，使用docker启动即可

# 第一次启动
docker run -dit --name zk -p 2181:2181 zookeeper# 重启
docker restart zk# 查看日志
docker logs -f zk

运行 Kafka

启动的命令如下，注意将下面的 192.168.101.104 换成自己的宿主机IP，运行后查看日志正常即可

# 第一次启动
docker run -dit --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.101.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.104:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafkadocker run -dit --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.101.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.104:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafkadocker run -dit --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.101.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.104:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka# 重启
docker restart kafka0
docker restart kafka1
docker restart kafka2# 查看日志
docker logs -f kafka0# 删除kafka
docker rm -f kafka0
docker rm -f kafka1
docker rm -f kafka2

测试

测试建立3的副本和5的partition，查看是否配置成功。然后在1和2上启动消费者，0生产消息

# 建立副本和partition
docker exec -ti kafka0 kafka-topics.sh --create --zookeeper 192.168.101.104:2181 --replication-factor 3 --partitions 5 --topic TestTopic
# 查看信息
docker exec -ti kafka0 kafka-topics.sh --describe --zookeeper 192.168.101.104:2181 --topic TestTopic
docker exec -ti kafka1 kafka-topics.sh --describe --zookeeper 192.168.101.104:2181 --topic TestTopic
docker exec -ti kafka2 kafka-topics.sh --describe --zookeeper 192.168.101.104:2181 --topic TestTopic# 消费和生产，最后一个kafka0输出后在其他两个能看到
docker exec -ti kafka1 kafka-console-consumer.sh --bootstrap-server 192.168.101.104:9093 --topic TestTopic --from-beginning
docker exec -ti kafka2 kafka-console-consumer.sh --bootstrap-server 192.168.101.104:9094 --topic TestTopic --from-beginning
docker exec -ti kafka0 kafka-console-producer.sh --broker-list 192.168.101.104:9092 --topic TestTopic# 性能测试
docker exec -ti kafka0 kafka-producer-perf-test.sh --topic TestTopic --num-records 100000 --record-size 1000 --throughput 2000 --producer-props bootstrap.servers=192.168.101.104:9092
docker exec -ti kafka0 kafka-consumer-perf-test.sh --bootstrap-server 192.168.101.104:9092 --topic TestTopic --fetch-size 1048576 --messages 100000 --threads 1

kafka manage

使用docker启动后，访问: http://localhost:9000/ , 点击添加cluster，输入前两个（名称和zk地址），保存即可

docker run -dit -p 9000:9000 -e ZK_HOSTS="192.168.101.104:2181" hlebalbau/kafka-manager:stablehttp://localhost:9000/

参考链接

【Kafka精进系列003】Docker环境下搭建Kafka集群
kafka如何彻底删除topic及数据

Windows10 Kafka Docker 集群搭建相关推荐

2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的集群搭建以及shell启动命令脚本编写一.搭建 ...
单台主机 kafka + zookeeper 集群搭建
文章转自: https://www.jianshu.com/p/dc4770fc34b6 在单台主机上搭建kafka + zookeeper 集群. zookeeper 集群搭建 kafka是通过zo ...
redis docker 集群搭建
redis docker 集群搭建 1. 安装镜像 docker pull redis:latest 2. 创建conf模板和脚本 # 创建模板目录 mkdir /data/redis_conf# 创 ...
Rancher+K8S+Docker集群搭建
Rancher+K8S+Docker集群搭建 Ubuntu安装准备工作:准备VMware+Ubuntu(ubuntu-18.04.5-live-server-amd64.iso) 1.1 虚拟机安装 ...
Linux下Kafka伪集群搭建
Kafka伪集群搭建 1. kafka单机安装启动 1.1 安装配置 1.2 启动 1.3 生产者和消费者 1.4 关闭kafka 2. kafka集群启动生产者与消费者 1. kafka单机安装启 ...
docker集群搭建
1.docker集群的概念在docker集群搭建之前,一台机器中的容器和其他机器之间的容器是不能很方便的通信的,像下面这个样子: 在docker集群搭建之后,一台机器上的容器与其他机器之间的 ...
腾讯云~kafka伪集群搭建
文章目录一.zookeeper伪集群搭建 1. 下载安装包 2. 解压安装包 3. 创建目录 4. 修改配置文件 5. 修改dataDir,clientPort两个配置项 5. 在data目录下创建 ...
Kafka+zookeeper集群搭建
Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews) ...
kafka伪集群搭建
1.软件环境准备 Kafka是将状态保存在zookeeper中的,所以首先要搭建zookeeper集群. 获取kafka的压缩包 wget http://mirrors.hust.edu.cn/apa ...

Windows10 Kafka Docker 集群搭建

Windows10 Kafka Docker 集群搭建

简介

运行 Zookeeper

运行 Kafka

测试

kafka manage

参考链接

Windows10 Kafka Docker 集群搭建相关推荐

最新文章

热门文章