准备工作:

1. 准备3台机器,IP地址分别为:192.168.0.10,192.168.0.11,192.168.0.12

2. 下载kafka稳定版本,我的版本为:kafka_2.9.2-0.8.1.1.tgz

3. 分别解压放入到想安装的目录下,我的目录为:/home/www 解压命令为:

tar -xzf kafka_2.9.2-0.8.1.1.tgz

搭建zookeeper集群

1. 进入解压后的目录/home/www/kafka_2.9.2-0.8.1.1

2. 进入config目录下,修改zookeeper.properties文件

tickTime=2000
dataDir=/data/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=192.168.0.10:2888:3888
server.2=192.168.0.11:2888:3888
server.3=192.168.0.12:2888:3888

在dataDir目录/data/zookeeper/下写一个myid文件,命令如下:

echo 1 >myid

注意:这个id是zookeeper的主机标示,每个主机id不同第二台是2 第三台是3。

逐次启动3台机器的zookeeper 构成一个集群:

> bin/zookeeper-server-start.sh config/zookeeper.properties &

注意:使用& 会打印出启动日志,但如果使用secure ssh直接退出,有可能会让zookeeper退出,建议使用命令检查一下:

> netstat -apn | grep 2181

我启动的顺序是

192.168.0.10
192.168.0.11
192.168.0.12

由于ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以打印出来的部分的异常是可以忽略的。集群在选出一个Leader后,最后稳定了。其他结点可能也出现类似问题,属于正常。

至此,zookeeper集群搭建完成

搭建kafka broker集群

进入config目录,修改server.properties

broker.id=0
port=9092
host.name=192.168.0.10zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181log.dirs=/home/www/kafka-logs

不同集群broker.id 和host.name 不一样,根据实际情况配置。

修改生产者配置

 broker.list=192.168.0.10:9092,192.168.0.11:9092,192.168.0.12:9092producer.type=async

修改消费者配置:

zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181

启动每台服务器的kafka:

> bin/kafka-server-start.sh config/server.properties &

测试集群

创建一个topic

> bin/kafka-topics.sh --create --zookeeper 192.168.0.10:2181 --replication-factor 3 --partitions 1 --topic test-replicated-topic

查看创建的topic

> bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic my-replicated-topic
Topic:test-replicated-topic PartitionCount:1    ReplicationFactor:3 Configs:
Topic: test-replicated-topic    Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 1,2,0

查看集群情况:

>bin/kafka-topics.sh --describe --zookeeper 192.168.0.11:2181 --topic test-replicated-topic
>bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic test-replicated-topic

发现都能看到test-replicated-topic。

注意:使用一台机器,创建3个zookeeper不同端口,3个kafka 不同端口没有成功,和zookeeper集群的端口有关吧,以后会研究一下。

参考资料:

http://kafka.apache.org/documentation.html#quickstart

http://www.jonzobrist.com/2012/04/17/install-apache-kafka-and-zookeeper-on-ubuntu-10-04/

http://www.open-open.com/lib/view/open1387889827593.html

完结。

转载于:https://www.cnblogs.com/davidwang456/p/4238536.html

kafka 集群--3个broker 3个zookeeper创建实战相关推荐

  1. 【Kafka】 kafka集群升级导致broker.id发生变动变动引起的问题

    文章目录 1.概述 2.详情 发现问题 解决问题 1.概述 转载:http://791202.com/2020/02/01/bigdata/362/ 2.详情 最近遇到一个问题,由于kafka集群升级 ...

  2. kafka集群Error creating broker listeners

    kafka集群启动报错Error creating broker listeners from 'PLAINTEXT: 配置kafka集群启动时报错: Error creating broker li ...

  3. Kafka集群部署详细步骤(包含zookeeper安装步骤)

    Kafka集群部署 注意:如果jdk1.8和zookeeper都安装设置过之后可以直接安装kafka跳过其它步骤 kafka基础简介及基本命令 1.环境准备 1.1集群规划 node01  node0 ...

  4. 融云发送自定义消息_数据源管理 | Kafka集群环境搭建,消息存储机制详解

    一.Kafka集群环境 1.环境版本 版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部署. 2.解压重命名 tar -zxvf kafka_2. ...

  5. 转-Kafka【第一篇】Kafka集群搭建

    转自: https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景 在我们大 ...

  6. kafka集群搭建(消息)

    1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行 ...

  7. zookeeper 和 kafka 集群搭建

    Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户 ...

  8. 数据源管理 | Kafka集群环境搭建,消息存储机制详解

    本文源码:GitHub·点这里 || GitEE·点这里 一.Kafka集群环境 1.环境版本 版本:kafka2.11,zookeeper3.4 注意:这里zookeeper3.4也是基于集群模式部 ...

  9. 高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper)

    高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...

最新文章

  1. 华为突遭谷歌釜底抽薪!官方安卓不再支持华为手机
  2. 网络分析概述之网络基础简介
  3. intellij haskell 插件使用分享
  4. mysql io模型_5种网络IO模型
  5. 【干货】2015,后微信时代的社交产品市场展望
  6. 十一、深入Java的判断语句
  7. iMac建立到服务器的反向ssh
  8. 详细解读CSS优先级——Web前端系列学习笔记
  9. 09_ServletContext介绍
  10. 数据结构学习笔记:时间复杂度
  11. 源码部署Apache和shell脚本安装
  12. winform生成exe俩秒钟就退出_Python有多牛逼?三万多条数据,几秒钟全部搞定~
  13. 海量数据挖掘MMDS week7: 相似项的发现:面向高相似度的方法
  14. Linux有问必答:如何查看Linux上程序或进程用到的库
  15. pdf和图片之间的转换
  16. ThinkPad SL400 改装Win2003方法以及驱动下载列表(适用于SL500)
  17. 电大系统服务器的性能测试报告表,湖南电大校教职工绩效管理系统的设计与实现...
  18. 我本可以忍受黑暗,如果我不曾见过太阳。
  19. 数据化运营chapter4_code--分析模型和方法
  20. ORB-SLAM3 单目地图初始化(终结篇)

热门文章

  1. 8 一点就消失_微信富二代男友转账20w后,却在见面前一秒消失??...
  2. 利用python进行统计分析学习笔记 第7章
  3. python导入mongo数据库文件
  4. 构造先存储再计算的加法器电路
  5. element tree不刷新视图_不懂Linux Device Tree,被新人嘲笑之后,含泪写完
  6. mysql1045_win10系统登录mysql时报错1045的解决方案
  7. async spring 默认线程池_Spring boot注解@Async线程池实例详解
  8. linux shell脚本 wget,bash – 在shell脚本中运行wget和其他命令
  9. CCF 2016年题目题解 - Python
  10. Leetcode 18. 四数之和 (每日一题 20211011)