大数据

大数据之超级详细的KafKa集群搭建过程

文章目录

大数据
- 大数据之超级详细的KafKa集群搭建过程
前言
一、Kafka集群配置方法
- 1.1 将Kafka的安装包上传到虚拟机，并解压(三个虚拟机同样操作)
- 1.2 使用root用户在所有的slave节点上配置系统环境变量
- 1.3 使环境变量生效
- 1.4 修改 server.properties
- 1.5 启动服务器(都启动)
二、Kafka集群的基本操作
- 2.1 创建topic
- 2.2 生产消息到Kafka(hadoop102)
- 2.3 从Kafka消费消息(hadoop103)
- 2.4 停止kafka集群
总结

前言

分布式消息系统kafka的提供了一个生产者、缓冲区、消费者的模型
下面我将详细介绍Kafka集群配置的方法和Kafka集群的基本操作

一、Kafka集群配置方法

1.1 将Kafka的安装包上传到虚拟机，并解压(三个虚拟机同样操作)

tar -xvzf kafka_2.11-2.1.0.tgz -C /opt/module/
cd module/

1.2 使用root用户在所有的slave节点上配置系统环境变量

先vi /etc/profile 进入配置文件

#kafka
export KAFKA_HOME=/opt/module/kafka_2.11-2.1.0
PATH=$PATH:KAFKA_HOME/bin

1.3 使环境变量生效

source /etc/profile

1.4 修改 server.properties

cd /opt/module/kafka_2.11-2.1.0/config/
vi server.properties

指定broker的id

broker.id=0(三个节点id不同！！！)
hadoop102:id=0,hadoop103:id=1,hadoop104:id=2)

指定Kafka数据的位置

log.dirs=/opt/module/kafka_2.11-2.1.0/data

配置zk的三个节点

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

说明：
broker.id ：集群内全局唯一标识，每个节点上需要设置不同的值
log.dirs ：存放kafka消息的
zookeeper.connect ：配置的是zookeeper集群地址

1.5 启动服务器(都启动)

启动ZooKeeper

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动Kafka

cd /opt/module/kafka_2.11-2.1.0
nohup bin/kafka-server-start.sh config/server.properties &

或者

./kafka-server-start.sh -daemon /opt/module/Kafka_2.11-2.1.0/config/server.properties

测试Kafka集群是否启动成功

bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
#还没有创建主题所以什么都不显示

二、Kafka集群的基本操作

2.1 创建topic

创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。

# 创建名为fjrKafka的主题
./kafka-topics.sh --create --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181 --replication-factor 1 --partitions 1 --topic fjrKafka

参数解释:
– replication- factor:用于指定主题目录的副本数量
–partitions: 用于指定创建的主题下的分区数量
–topic:用于指定创建的主题名称

注意:
1、必须指定分区数和副本数
2、每个broker最多只能存储1个副本，也就是副本数不能大于broker的数量
3、若不设置- replica -assignment，kafka会自动根据负载均衡策略，将多个副本分配到各个broker

# 查看目前Kafka中的主题
./kafka-topics.sh --list --zookeeper hadoop102:2181

#查看主题具体信息
./kafka-topics.sh --describe --zookeeper hadoop102:2181,hadoop103:2181,hadoop104:2181 --topic fjrKafka

2.2 生产消息到Kafka(hadoop102)

使用Kafka内置的测试程序，生产一些消息到Kafka的fjrKafka 主题中。

./kafka-console-producer.sh --broker-list localhost:9092 --topic fjrKafka

输入aaa传给hadoop103

2.3 从Kafka消费消息(hadoop103)

使用下面的命令来消费 fjrKafka 主题中的消息。

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic fjrKafka --from-beginning

接收到hadoop102传来的aaa了

2.4 停止kafka集群

./kafka-server-stop.sh

总结

以上就是今天要讲的内容，本文仅仅简单介绍了大数据之超级详细的KafKa集群搭建过程，结合书本内容和以上详细步骤，相信你也可以成功。

大数据之超级详细的KafKa集群搭建过程相关推荐

【大数据实战】Docker中Hadoop集群搭建
目录 Docker中Hadoop集群搭建环境网络设置安装docker 安装OpenSSH免密登录 Ansible安装软件环境配置配置hadoop运行所需配置文件 Hadoop 启动问题 D ...
Kafka集群搭建过程（kafka2.5+eagle）
文章目录 1.环境准备 1.1 硬件环境 1.2软件环境 1.3 jdk安装 1.4 zookeeper安装 2 安装kafka和eagle 2.1安装kafka 2.2安装eagle 1.环境准备 ...
云计算大数据之 Kafka集群搭建
云计算大数据之 Kafka集群搭建版权声明: 本文为博主学习整理原创文章,如有不正之处请多多指教. 未经博主允许不得转载.https://blog.csdn.net/qq_42595261/arti ...
CDH大数据平台搭建之KAFKA集群搭建
CDH大数据平台搭建之KAFKA集群搭建一.安装规划二.下载KAFKA 三.安装及配置 1.先安装zookeeper 2.解压 3.新建文件夹 4.修改config目录server.propert ...
转-Kafka【第一篇】Kafka集群搭建
转自: https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景在我们大 ...
kafka集群搭建(消息)
1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行 ...
zookeeper 和 kafka 集群搭建
Kafka初识 1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户 ...
Zookeeper+Kafka集群搭建
Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群. 1.软件环境 (3台服务器-我的测试) 192.168.30.204 server1 ...
zookeeper单机和集群搭建过程详细步骤
文章目录: ▶ 单机环境搭建 ▶ 设置zookeeper为开机服务 ▶ 集群环境搭建单机环境搭建要求: 依赖Java环境单机搭建过程: 进入到/opt目录下,创建zookeeper 文件夹 cd ...

大数据之超级详细的KafKa集群搭建过程

大数据

大数据之超级详细的KafKa集群搭建过程

文章目录

前言

一、Kafka集群配置方法

1.1 将Kafka的安装包上传到虚拟机，并解压(三个虚拟机同样操作)

1.2 使用root用户在所有的slave节点上配置系统环境变量

1.3 使环境变量生效

1.4 修改 server.properties

1.5 启动服务器(都启动)

二、Kafka集群的基本操作

2.1 创建topic

2.2 生产消息到Kafka(hadoop102)

2.3 从Kafka消费消息(hadoop103)

2.4 停止kafka集群

总结

大数据之超级详细的KafKa集群搭建过程相关推荐

最新文章

热门文章