部署kafka kafka的service容器和zookeeper kafka客户端 Elasticsearch的客户端

创建network
docker network create -d overlay --attachable loc_net

docker stack up -c kafka.yml kafka
docker stack up -c kafdrop.yml kafdrop
docker stack up -c els.yml els

docker stack ls
docker service ls

查看service的启动错误原因
docker service ps dd16mk9bm8ne --no-trunc

进入 kafka
docker exec -it f907a4994f28 /bin/bash
生产消息： ip不好用腾讯的垃圾服务器
kafka-console-producer --broker-list 122.51.187.132:9092 --topic test1 #ctrl+z退出
kafka-console-producer --broker-list kafka:9092 --topic testqqq #ctrl+z退出
消费消息：
kafka-console-consumer --bootstrap-server kafka/ip:9092 --topic test1222 --from-beginning
kafka-console-consumer --bootstrap-server 122.51.187.132:9092 --topic test1 --from-beginning
kafka-console-consumer --bootstrap-server kafka:9092 --topic testqqq --from-beginning

kafka的service容器和zookeeper
kafka.yml
***************************************************************************
version: "3"

services:
zk:
image: zookeeper:3.4.9
hostname: zk
ports:
- "2181:2181"
#environment:
# ZOO_MY_ID: 1
# ZOO_PORT: 2181
# ZOO_SERVERS: server.1=zk:2888:3888
volumes:
- /data/zk/data/:/data
- /data/zk/log:/datalog
#network_mode: bridge
networks:
- loc_net

kafka:
image: confluentinc/cp-kafka:5.1.0
#hostname: kafka
ports:
- "19092:19092"
- "9092:9092"
environment:
KAFKA_ADVERTISED_LISTENERS: LISTENER_DOCKER_INTERNAL://kafka:19092,LISTENER_DOCKER_EXTERNAL://122.51.187.132:9092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: LISTENER_DOCKER_INTERNAL:PLAINTEXT,LISTENER_DOCKER_EXTERNAL:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: LISTENER_DOCKER_INTERNAL
KAFKA_ZOOKEEPER_CONNECT: "zk:2181"
KAFKA_BROKER_ID: 1
KAFKA_LOG4J_LOGGERS: "kafka.controller=INFO,kafka.producer.async.DefaultEventHandler=INFO,state.change.logger=INFO"
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
KAFKA_HEAP_OPTS: "-Xmx256M -Xms128M"
#volumes:
# - /data/kafka/data:/var/lib/kafka/data
#depends_on:
# - zk
#network_mode: bridge
networks:
- loc_net

networks:
loc_net:
external: true
#driver: overlay

***************************************************************************

kafka客户端可以不用进入容器看到消息
http://122.51.187.132:9000/topic/testqqq
kafdrop.yml
***************************************************************************

version: "3"
services:
kafdrop:
image: obsidiandynamics/kafdrop
restart: "no"
ports:
- "9000:9000"
environment:
KAFKA_BROKERCONNECT: "122.51.187.132:9092"

***************************************************************************

Elasticsearch 的客户端可以连接指定ip的 elasticsearch
http://122.51.187.132:9800/

els.yml
***************************************************************************
version: '3'
services:
elastichd:
image: containerize/elastichd:latest
ports:
- "9800:9800"
***************************************************************************

部署kafka kafka的service容器和zookeeper kafka客户端 Elasticsearch的客户端相关推荐

ELK+Filebeat+zookeeper+Kafka原理和搭建
目录引言一.ZooKeeper介绍二.Kafka介绍 2.1.为什么需要消息队列(MQ) 2.2.消息队列的好处解耦合异步处理流量削峰 2.3.Kafka的特性 2.4.Kafka作为存储 ...
k8s部署zookeeper,kafka集群（李作强）
采用网上镜像:mirrorgooglecontainers/kubernetes-zookeeper:1.0-3.4.10 准备共享存储:nfs,glusterfs,seaweed或其他,并在node ...
zookeeper+kafka集群部署+storm集群
zookeeper+kafka集群部署+storm集群一.环境安装前准备: 准备三台机器操作系统:centos6.8 jdk:jdk-8u111-linux-x64.gz zookeeper:zo ...
K8s-K8s部署Zookeeper+Kafka+ELFK+持久化数据
文章目录引创建清单目录 Zookeeper & Kafka Zookeeper 目录清单结构配置清单 `1.storage.yaml` `3.configmap.yaml` 部署检测状 ...
【Centos】EFAK（kafka-eagle）对ZK、Kafka可视化管理工具容器化安装与配置
[Centos]EFAK(kafka-eagle)对ZK.Kafka可视化管理工具容器化安装与配置前言构建 Dockerfile system-config.properties works re ...
搭建zookeeper+kafka集群
搭建zookeeper+kafka集群一.环境及准备集群环境: 软件版本: 部署前操作: 关闭防火墙,关闭selinux(生产环境按需关闭或打开) 同步服务器时间,选择公网ntpd服务器或 ...
Zookeeper+kafka集群搭建，问题(zoo.cfg file is running，it‘s probably not running，option ‘UseCompressedOops‘)
1. 下载Zookeeper 1.1 从Zookeeper官网选择对应版本下载,我这边是3.4.5,如下图. 1.2 将下载的压缩包拉到要安装集群主机的 /usr/local 目录(你也可以进入 /u ...
doker zookeeper kafka单机搭建
因工作需求,环境需要搭建zookeeper,kafka集群,也是刚接触从零开始搭建,此文章是用docker搭建的单机版, 搭建过程还是比较顺利的,此前用传统方式搭建了一遍,后面才知道用docker也可 ...
zookeeper + kafka集群搭建详解
文章目录一.消息队列介绍 1.1 为什么需要消息队列 (MO) 1.2 使用消息队列的好处 (1)解耦 (2)可恢复性 (3)缓冲 (4)灵活性 & 峰值处理能力 (5)异步通信很多时候,用 ...

部署kafka kafka的service容器和zookeeper kafka客户端 Elasticsearch的客户端

部署kafka kafka的service容器和zookeeper kafka客户端 Elasticsearch的客户端相关推荐

最新文章

热门文章