注意kafka的安装需要依赖Zookeeper集群 ,所以安装kafka之前先安装zookeeper!

zookeeper安装

上传安装包
解压

tar -zxvf zookeeper-3.4.6.tar.gz

修改配置文件

（1）进入配置文件目录

cd /usr/apps/zookeeper-3.4.6/conf

（2）修改配置文件名称

mv zoo_sample.cfg zoo.cfg

（3）编辑配置文件

vi zoo.cfg

dataDir=/usr/apps/data/zkdata

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=linux01:2888:3888

server.2=linux02:2888:3888

server.3=linux03:2888:3888

mkdir -p /usr/apps/data/zkdata

分别在各个节点的数据存储目录中，生成一个myid文件，内容为它的id

echo 1 > /usr/apps/data/zkdata/myid

echo 2 > /usr/apps/data/zkdata/myid

echo 3 > /usr/apps/data/zkdata/myid

分发安装包

scp -r zookeeper-3.4.6 linux02:/usr/apps/ 单独分发

配置环境变量

vi /etc/profile

#ZOOKEEPER_HOME

export ZOOKEEPER_HOME=/usr/apps/zookeeper-3.4.6

export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

注意：还需要分发环境变量

zookeeper集启停群

bin/zkServer.sh start zk服务启动

bin/zkServer.sh status zk查看服务状态

bin/zkServer.sh stop zk停止服务

脚本启停

脚本启动

#!/bin/bash

for i in 1 2 3

do

ssh linux0${i} "source /etc/profile;/usr/apps/zookeeper-3.4.6/bin/zkServer.sh $1"

done

安装kafka集群

上传安装包
解压

tar -zxvf kafka_2.11-2.2.2.tgz

修改配置文件

cd /usr/apps/kafka_2.11-2.2.2/config

编辑配置文件

vi server.properties

#为依次增长的：0、1、2、3、4，集群中唯一 id

broker.id=0

#数据存储的⽬录

log.dirs=/usr/apps/data/kafkadata

#指定zk集群地址

zookeeper.connect=lx01:2181,lx02:2181,lx03:2181

分发安装包

for i in {2..3}; do scp -r kafka_2.11-2.2.2 linux0$i:$PWD; done

配置环境变量

vi /etc/profile

#ZOOKEEPER_HOME

export ZOOKEEPER_HOME=/usr/apps/kafka_2.11-2.2.2

export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

注意：还需要分发环境变量

分别在linux02和linux03上修改配置文件/usr/apps/kafka_2.11-2.2.2/server.properties中的broker.id=1,broker.id=2（broker.id不能重复）

启停集群（在各个节点上启动）

bin/kafka-server-start.sh -daemon /usr/apps/kafka_2.11-2.2.2/config/server.properties

启动集群

bin/kafka-server-stop.sh stop

shell客户端操作

创建topic

./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --create --replication-factor 3 --partitions 3 --topic test

参数解释：

--replication-factor 副本数量

--partitions 分区数量

--topic topic名称

查看当前服务器中的所有topic

./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --list

删除topic

./kafka-topics.sh --zookeeper linux01:2181,linux02:2181,linux03:2181 --delete --topic test

查看某个topic的详情

./kafka-topics.sh --zookeper linux01:2181,linux02:2181,linux03:2181 --describe --topic test

修改分区数

/kafka-topics.sh --zookeeper xu01:2181 --alter --topic test --partitions 5

producter

./kafka-console-producer.sh --broker-list xu01:9092 --topic test

>hello word

>kafka

>nihao

Consumer

./kafka-console-consumer.sh --bootstrap-server h1:9092 --from-beginning --topic test

# 指定要消费的分区，和要消费的起始offset

./kafka-console-consumer.sh --bootstrap-server h1:9092,h2:9092,h3:9092 --topic doit14 --offset 2 --partition 0

多易教育KAFKA实战(1)-KAFKA集群安装和shell客户端相关推荐

ElasticSearch集群安装及Java客户端使用
ElasticSearch集群安装及Java客户端使用 1.传统模式安装 1.1 ElasticSearch安装下载Es安装包 ElasticSearch的官方地址:https://www.elas ...
hbase集群安装和shell操作
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/44596537 1.上传hbase安装包 ...
大数据运维实战第十九课 Kafka 应用场景、集群容量规划、架构设计应用案例
Kafka 基础与入门 1. Kafka 基本概念 Kafka 官方的定义:是一种高吞吐量的分布式发布/订阅消息系统.这样说起来可能不太好理解,这里简单举个例子:现在是个大数据时代,各种商业.社交.搜 ...
2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的集群搭建以及shell启动命令脚本编写一.搭建 ...
KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
zookeeper+kafka集群安装之中的一个
zookeeper+kafka集群安装之中的一个准备3台虚拟机, 系统是RHEL64服务版. 1) 每台机器配置例如以下: $ cat /etc/hosts ... # zookeeper host ...
Kafka集群安装Version1.0.1(自带Zookeeper)
1.说明 Kafka集群安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...
Kafka集群安装Version2.10
Kafka集群安装,基于版本2.10, 使用kafka_2.10-0.10.1.0.tgz安装包. 1.安装规划 Storm集群模式,安装到下面三台机器 IP Hostname 10.43.159.2 ...
kafka专题：kafka单机和集群安装详情，Spring Boot如何整合Kafka
文章目录 1. kafka单机安装 1.1 server.properties核心配置 2. kafka集群安装 2.1 kafka集群可视化界面 3. springboot如何整合kafka 4. ...

多易教育KAFKA实战(1)-KAFKA集群安装和shell客户端

zookeeper安装

安装kafka集群

shell客户端操作

创建topic

查看当前服务器中的所有topic

删除topic

查看某个topic的详情

修改分区数

producter

Consumer

多易教育KAFKA实战(1)-KAFKA集群安装和shell客户端相关推荐

最新文章

热门文章