一、简介

Kafka，分布式的消息队列系统（Message Queue）官网：https://kafka.apache.org/ 。kafka是数据来源，要把数据推送到storm上去。

二、kafka架构

kafka集群由多个Broker服务器组成，每个类型的消息就是topic。集群内角色有生产者、消费者。就像肯德基一样，生产者不会一上来就批量生产汉堡，而是要在生产之前要先确立topic主题。同一个主题可以放在不同partition。恰如肯德基的汉堡可以在窗口1、窗口2、窗口3…售卖一样。

同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。消息生产者producer和消费者consumer可以在多个Broker上生产/消费topic。消费者每次来消费，都得带着一个位置标记-offset。为的就是防止位置混乱。

三、kafka安装部署

kafka是由zookeeper来提供分布式协调服务的，因此要在zookeeper的环境下进行kafka的安装部署。

上传kafka到某一台节点上并解压到指定目录：

tar xf kafka_2.10-0.9.0.1.tgz  -C /opt/software/

修改config/目录下的server.properties 文件：
将kafka分发到剩余的节点上：

scp -r  kafka_2.10-0.9.0.1/ node3:`pwd`
scp -r  kafka_2.10-0.9.0.1/ node4:`pwd`

修改配置文件server.properties中的broker.id，分别为0、1 、2 。

四、启动kafka集群

在启动kafka之前，首先的启动Zookeeper集群：

zkServier.sh start

在3台节点上启动kafka集群：

# ./bin/kafka-server-start.sh  ./config/server.properties

Zookeeper可以监听到kafka的消息：

[zk: localhost:2181(CONNECTED) 1] ls /
[controller, controller_epoch, storm, brokers, zookeeper, yarn-leader-election, hadoop-ha, admin, isr_change_notification, consumers, config]

五、测试

首先要定义topic主题：

[root@node2 kafka_2.10-0.9.0.1]# bin/kafka-topics.sh --zookeeper node2:2181,node3:2181,node4:2181 --create --replication-factor 2 --partitions 3 --topic test
Created topic "test".
[root@node2 kafka_2.10-0.9.0.1]#

查看topic列表：

bin/kafka-topics.sh --zookeeper node2:2181,node3:2181,node4:2181 --list

创建生产者：
这里是阻塞的，已经开始生产了。

[root@node2 kafka_2.10-0.9.0.1]# bin/kafka-console-producer.sh --broker-list node2:9092,node3:9092,node4:9092 --topic test
111
222
333
444
555
666
777
888
999

创建消费者：

[root@node2 kafka_2.10-0.9.0.1]# bin/kafka-console-consumer.sh --zookeeper node2:2181,node3:2181,node4:2181 --from-beginning --topic test
222
555
888
111
444
777
333
666
999

from-beginning表示每次都从最开始消费。如果不写这个from-beginning，就只从后面的开始消费了。因为我设置了3个分区，所以并不能保证有序。

安装搭建kafka集群相关推荐

单机搭建kafka集群本地_10分钟搭建单机Kafka集群
单机版kafka集群有什么作用练习上手用. 搭建zookeeper集群首先下载zookeeper解压 apache zookeeper tar -zxvf apache-zookeeper-3.5. ...
Linux 搭建Kafka集群，最新教程，细到极致
大家好呀,今天给大家带来的是,最新版kafka集群的安装教程,希望给小伙伴们一点小小的帮助. 注意:提前安装好jdk, Jdk安装教程 1.准备安装包,Kafka官网下载 2.kafka安装需要z ...
Docker搭建Kafka集群
对于个人开发者而言,一般手头上没有多台服务器,有人可能会有云服务器,不过一般也只会买一台来用用就好:有人可能更习惯将本机当作服务器来玩.都可以.那么如何通过一台服务器或本机来搭建Kafka集群呢? 无 ...
单机搭建kafka集群本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager
Kafka 搭建: 建立Zookeeper容器: 这里我们用最简单的方式创建一个独立的Zookeeper节点,如果要考虑zookeeper的高可用,可以将其做成一个集群,最好是能有多台机器. $ do ...
搭建Kafka集群环境
计划使用三台主机:11.12.112.206.11.12.112.207.11.12.112.208搭建Kafka集群环境, 使用的zookeeper集群为:11.12.112.215:2181,11 ...
docker环境，搭建kafka集群
https://zhuanlan.zhihu.com/p/114968151 docker环境,搭建kafka集群
搭建 Kafka 集群（v2.12-2.3.0）
服务器:10.20.32.121,10.20.32.122,10.20.32.123 三台服务器都需要安装jdk.配置zookeeper.配置kafka 1.安装配置jdk1.8 [root@loca ...
Kafka：搭建Kafka集群
博主在之前已经介绍过如何部署Kafka,Kafka的部署模式只有集群模式,Kafka的架构本就是天然的集群架构,因此单节点的部署和多节点的部署是类似的. 集群节点: 节点地址 ZooKeeper 1 ...

安装搭建kafka集群

文章目录