zk+kafka集群

docker服务编排 yml文件

安装：yum install docker-compose

version: '3.1'
services:zoo1:image: wurstmeister/zookeeperrestart: alwayshostname: zoo1container_name: zoo1ports:- 2184:2181      将zk1，主机映射到容器上volumes:关联卷路径- /data/wangzunbin/volume/zkcluster/zoo1/data:/data:Z- /data/wangzunbin/volume/zkcluster/zoo1/datalog:/datalog:Zenvironment:ZOO_MY_ID: 1ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888zoo2:image: wurstmeister/zookeeperrestart: alwayshostname: zoo2container_name: zoo2ports:- 2185:2181                将zk2，主机映射到容器上volumes:- /data/wangzunbin/volume/zkcluster/zoo2/data:/data:Z- /data/wangzunbin/volume/zkcluster/zoo2/datalog:/datalog:Zenvironment:ZOO_MY_ID: 2ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888zoo3:image: wurstmeister/zookeeperrestart: alwayshostname: zoo3container_name: zoo3ports:- 2186:2181                将zk3，主机映射到容器上volumes:- /data/wangzunbin/volume/zkcluster/zoo3/data:/data:Z- /data/wangzunbin/volume/zkcluster/zoo3/datalog:/datalog:Zenvironment:ZOO_MY_ID: 3ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
**`zoo1，zoo2,zoo3,,,,,zk集群`**kafka1:image: wurstmeister/kafkarestart: alwayshostname: kafka1container_name: kafka1ports:- 9092:9092    开放映射端口environment:KAFKA_ADVERTISED_HOST_NAME: kafka1     设置主机名，跟本地host文件设置有关联KAFKA_ADVERTISED_PORT: 9092  KAFKA_BROKER_ID: 1     设置brokerKAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka1:9092KAFKA_LISTENERS: PLAINTEXT://kafka1:9092volumes:- /data/wangzunbin/volume/kfkluster/kafka1/logs:/kafka:Zexternal_links:- zoo1- zoo2- zoo3kafka2:image: wurstmeister/kafkarestart: alwayshostname: kafka2container_name: kafka2ports:- 9093:9092environment:KAFKA_ADVERTISED_HOST_NAME: kafka2KAFKA_ADVERTISED_PORT: 9092KAFKA_BROKER_ID: 2KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka2:9092KAFKA_LISTENERS: PLAINTEXT://kafka2:9092volumes:- /data/wangzunbin/volume/kfkluster/kafka2/logs:/kafka:Zexternal_links:- zoo1- zoo2- zoo3kafka3:image: wurstmeister/kafkarestart: alwayshostname: kafka3container_name: kafka3ports:- 9094:9092environment:KAFKA_ADVERTISED_HOST_NAME: kafka3KAFKA_ADVERTISED_PORT: 9092KAFKA_BROKER_ID: 3KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka3:9092KAFKA_LISTENERS: PLAINTEXT://kafka3:9092volumes:- /data/wangzunbin/volume/kfkluster/kafka3/logs:/kafka:Zexternal_links:- zoo1- zoo2- zoo3
kafka1,2,3，作为kafka集群，由port进行映射，通过9092-3,4-》9092

docker-compose up -d 进行将文件实现好

docker命令：拉取imgage （wurstmeister/kafka wurstmeister/zookeeper）

创建容器container_name: kafka3，kafka2，kafka1，zoo1，zoo2，zoo3
重启容器docker container restart  容器名或id名
进入容器docker exec -it 容器名 /bin/bash   进入容器终端
修改配置文件重启容器，修改配置失效，

创建topic 副本，分区

kafka-topics.sh --create --zookeeper xxxxxxxxxxxx:2184
–replication-factor 3 --partitions 5 --topic TestTopic

查看分区信息

kafka-topics.sh --describe --zookeeper xxxxxxxxxxxx:2184 --topic
TestTopic

本地修改host===》如本地出异常hostname等问题填写

C:\Windows\System32\drivers\etc

    {ip  服务器} kafka1{ip  服务器} kafka2{ip  服务器} kafka3

本地创建生产者，

public class Demo {public static void main(String[] args) {//创建一个Properties对象，用于存储连接kafka所需要的配置信息Properties kafkaProps = new Properties();
//配置kafka集群地址kafkaProps.put("bootstrap.servers", "xxxx:9092,xxxx:9093,xxxx:9094");
//向kafka集群发送消息,除了消息值本身,还包括key信息,key信息用于消息在partition之间均匀分布。
//发送消息的key,类型为String,使用String类型的序列化器kafkaProps.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//发送消息的value,类型为String,使用String类型的序列化器kafkaProps.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//创建一个KafkaProducer对象，传入上面创建的Properties对象KafkaProducer<String, String> producer = new KafkaProducer<String, String>(kafkaProps);
/*** 使用ProducerRecord<String, String>(String topic, String key, String value)构造函数创建消息对象* 构造函数接受三个参数：* topic--告诉kafkaProducer消息发送到哪个topic;* key--告诉kafkaProducer，所发送消息的key值，注意：key值类型需与前面设置的key.serializer值匹配* value--告诉kafkaProducer，所发送消息的value值，即消息内容。注意：value值类型需与前面设置的value.serializer值匹配*/ProducerRecord<String, String> record =new ProducerRecord<>("TestTopic", "messageKey", "hello kafka");try {//发送前面创建的消息对象ProducerRecord到kafka集群//发送消息过程中可能发送错误，如无法连接kafka集群，所以在这里使用捕获异常代码producer.send(record);//关闭kafkaProducer对象producer.close();} catch (Exception e) {e.printStackTrace();}}
}

最终实现效果，消费者接收消息

bash-5.1# ./kafka-console-consumer.sh --bootstrap-server xxxxxxxxx:9093 --topic TestTopic> `hello kafka`bash-5.1# ./kafka-console-consumer.sh --bootstrap-server xxxxxxxxx:9092 --topic TestTopic> `hello kafka`bash-5.1# ./kafka-console-consumer.sh --bootstrap-server xxxxxxxxx:9094 --topic TestTopic> `hello kafka`

zk+kafka集群相关推荐

Kafka 集群搭建（含 ZK 模式和 Kraft 模式）
前言环境介绍虚拟机软件:VirtualBox Linux 发行版本:Ubuntu 20.04.4 虚拟机核心数:1 core 虚拟机内存:2 GB JDK 版本:1.8.0_202 ZK 版本:3 ...
java kafka 集群消费_kafka集群搭建和使用Java写kafka生产者消费者
转自:http://chengjianxiaoxue.iteye.com/blog/2190488 1 kafka集群搭建 1.zookeeper集群搭建在110, 111,112 2.kafka使 ...
搭建zookeeper+kafka集群
搭建zookeeper+kafka集群一.环境及准备集群环境: 软件版本: 部署前操作: 关闭防火墙,关闭selinux(生产环境按需关闭或打开) 同步服务器时间,选择公网ntpd服务器或 ...
kafka之四：Kafka集群搭建
1.软件环境 1.linux一台或多台,大于等于2 2.已经搭建好的zookeeper集群 3.软件版本kafka_2.11-0.9.0.1.tgz 2.创建目录并下载安装软件 #创建目录 cd /o ...
安装搭建kafka集群
文章目录一.简介二.kafka架构三.kafka安装部署四.启动kafka集群五.测试一.简介 Kafka,分布式的消息队列系统(Message Queue)官网:https://kafk ...
php连接kafka集群,Kafka集群环境配置
Kafka集群环境配置 1 环境准备 1.1 集群规划 Node02 Node03 Node04 zk zk zk kafka kafka kafka 1.2 jar包下载安装包:kafka_2.1 ...
融云发送自定义消息_数据源管理 | Kafka集群环境搭建，消息存储机制详解
一.Kafka集群环境 1.环境版本版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部署. 2.解压重命名 tar -zxvf kafka_2. ...
Apache Kafka-初体验Kafka(03)-Centos7下搭建kafka集群
文章目录概述部署信息配置信息验证概述对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点.要想增加kafka集群中的节点数量,只需要多启动几个broker实例即可. ...
Zookeeper+kafka集群搭建，问题(zoo.cfg file is running，it‘s probably not running，option ‘UseCompressedOops‘)
1. 下载Zookeeper 1.1 从Zookeeper官网选择对应版本下载,我这边是3.4.5,如下图. 1.2 将下载的压缩包拉到要安装集群主机的 /usr/local 目录(你也可以进入 /u ...
Kafka学习：CentOS7下Kafka集群搭建
文章目录准备集群安装 1.创建目录 2.解压缩安装包 3.修改配置文件 4.启动 5.查看集群是否安装成功测试Kafka 1.创建测试mytopic 2.查看mytopic副本信息 3.查看已创 ...

zk+kafka集群

docker服务编排 yml文件

docker命令：拉取imgage （wurstmeister/kafka wurstmeister/zookeeper）

创建topic 副本，分区

查看分区信息

本地修改host===》如本地出异常hostname等问题填写

本地创建生产者，

最终实现效果，消费者接收消息

zk+kafka集群相关推荐

最新文章

热门文章