1、上传解包

tar -zxvf kafka_2.12-2.7.1.tgz -C /usr/hadoop/

2、Kafka配置

主要的配置项：

broker.id=1log.dirs=/usr/hadoop/kafka_2.12-2.7.1/logsdatazookeeper.connect=localhost:2181

3、kafka的相关管理脚本：

启动测试后，发现只有broker.id=1的主机上线，2号机器没安装
分发配置好的kafka：1号机：
1. scp -r kafka_2.12-2.7.1/ 192.168.42.112:/usr/hadoop/
修改2号主机的kafka标识：server.properties

broker.id=2

配置后，依次启动两台kafka即可：

1号机：./kafka-server-start.sh 上次启动，已经知道kafka服务有霸屏的风格

我们改变启动方式为：守护方式启动（后台）（防止霸屏现象）

./kafka-server-start.sh -daemon ../config/server.properties

Zk集群的搭建：

Zk服务于其它的大数据框架

Zk编程，比如：分布式的应用软件（分布式采集）

上传解压

tar -zxvf zookeeper-3.6.3-bin.tar.gz -C /usr/hadoop

配置
1. 复制一份备份示例：zoo_sample.cfg
2. 复制一份默认的配置文件：cp zoo_sample.cfg zoo.cfg
3. 配置项：
  1. ```
  dataDir=/usr/hadoop/apache-zookeeper-3.6.3-bin/zkdata
  server.1=192.168.42.111:2888:3888
  server.2=192.168.42.112:2888:3888
```
2. zk主机的myid编号（每一台zk主机，需要有一个唯一性的id值）
  1. /usr/hadoop/apache-zookeeper-3.6.3-bin/zkdata/myid

Zoo.cfg文件配置就两项：

第二台，直接把第一台配置好的zookeeper直接复制过去：

scp -r apache-zookeeper-3.6.3-bin/ 192.168.42.112:/usr/hadoop/

修改第二台的myid值为2

3、启动测试

启动第一台zk主机，此时集群无效

Zk集群一般要求使用奇数台主机进行构建

3台zk集群：可以有1台主机下线

4台zk集群：2台主机下线，存活主机不大半数，整个集群不可工作。

5台zk集群：最多可以有2台主机下线

kafka队列使用：

主题管理：kafka-topics.sh
1. 重要的参数项：

--bootstrap-server kafka集群服务ips--create、--delete、--alter、--describe、--list--partitions--replication-factor 副本数--topic 主题名

./kafka-topics.sh --help./kafka-topics.sh --bootstrap-server 192.168.42.111:9092,192.168.42.112:9092 --create --topic TreatmentData --partitions 1 --replication-factor 1./kafka-topics.sh --list --bootstrap-server 192.168.42.111:9092,192.168.42.112:9092./kafka-topics.sh --delete --topic treatment_data --bootstrap-server 192.168.42.111:9092,192.168.42.112:9092

队列测试：

./kafka-console-producer.sh --bootstrap-server 192.168.42.111:9092,192.168.42.112:9092 --topic TreatmentData

./kafka-console-consumer.sh --bootstrap-server 192.168.42.111:9092,192.168.42.112:9092 --topic TreatmentData

Kafka与zookeeper集群配置安装（Zk集群至少三台）相关推荐

尚硅谷大数据技术Zookeeper教程-笔记01【Zookeeper(入门、本地安装、集群操作)】
视频地址:[尚硅谷]大数据技术之Zookeeper 3.5.7版本教程_哔哩哔哩_bilibili 尚硅谷大数据技术Zookeeper教程-笔记01[Zookeeper(入门.本地安装.集群操作)] ...
【菜鸟教程】Kafka消息队列入门上（安装、集群搭建、基本命令行操作）
概述定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域. 消息队列什么是消息队列呢? 例如在网站注册时,一般是同步的,当接收到 ...
Apache ZooKeeper - 使用源码启动ZK集群模式
文章目录 Pre 配置总览端口说明 Node 1 [zoo1.cfg ] [myid] Node 2 [zoo2.cfg ] [myid] Node 3 [zoo3.cfg ] [myid] 启动集 ...
Apache Hadoop3.x 分布式集群配置安装
文章目录一.前提说明二.准备工作三.开始 1 安装虚拟机 2 Hadoop运行环境搭建 2.1 ping 2.2 安装软件 2.3 关闭防火墙 2.4 创建普通用户 2.5修改虚拟机IP为静态 ...
kafka和zookeeper下载地址和安装方法和JAVA消费者方法
kafka下载地址:http://archive.apache.org/dist/kafka/3.0.1/kafka_2.13-3.0.1.tgz zookeeper下载地址:http://archi ...
黑群辉安装php,黑群晖从装机到使用全过程篇五：群晖安装VirtualBox虚拟机
黑群晖从装机到使用全过程篇五:群晖安装VirtualBox虚拟机 2017-10-13 21:29:39 33点赞 312收藏 28评论经常喜欢折腾电脑的童鞋一定知道虚拟机,在自己的电脑上可以安装 ...
zookeeper 日志查看_zookeeper 安装和集群配置
1.首先安装jdk 2.安装zookeeper 2-1.下载zookeeper安装包 http://apache.fayea.com/zookeeper/stable/ 2-2.解压安装包 tar - ...
ZK安装、ZK配置、ZK集群部署踩过的大坑
天天采坑.来来咱们一起来填zookeeper的坑呀!! 解决坑一定要注意zk根目录下的神器,那就是logs目录下的日志, 第一坑:错误: 找不到或无法加载主类 org.apache.zookeeper ...
k8s containerd集群配置安装完整踩坑教程
完整踩坑和精简内容 k8s containerd配置 containerd安装参考 k8s安装参考环境两台机器 hostnamectl set-hostname master hostnamect ...

Kafka与zookeeper集群配置安装（Zk集群至少三台）

1、上传解包

2、Kafka配置

主要的配置项：

3、kafka的相关管理脚本：

Zk集群的搭建：

上传解压

配置

3、启动测试

kafka队列使用：

队列测试：

Kafka与zookeeper集群配置安装（Zk集群至少三台）相关推荐

最新文章

热门文章