Kafka集群部署与测试

2024-04-02 10:56:01

目录

Kafka集群部署与测试

一、安装Kafka

二、启动kafka服务

Kafka集群部署与测试

一、安装Kafka

①、Alt+P 拷贝安装包

cd /opt/module

tar -zxvf /opt/software/kafka_2.11-2.0.0.tgz -C /opt/module/

②、修改配置文件

vi /opt/module/kafka_2.11-2.0.0/config/server.properties

增加环境变量

vi /etc/profile

export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0

export PATH=$PATH:$KAFKA_HOME/bin

Step1、分发文件

chown -R hadoop:hadoop /opt/

su hadoop

scp -r kafka_2.11-2.0.0/ slave1:/opt/module/

scp -r kafka_2.11-2.0.0/ slave2:/opt/module/

Step2、再slave1和slave2节点上修改：

1．环境变量

Slave1里更改

vi /etc/prof

export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0export PATH=$PATH:$KAFKA_HOME/bin

Slave2里修改

vi /etc/prof

export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0export PATH=$PATH:$KAFKA_HOME/bin

2．修改 broker.id 和host.name

Slave1里更改

vi /opt/module/kafka_2.11-2.0.0/config/server.properties

Slave2里更改

vi /opt/module/kafka_2.11-2.0.0/config/server.properties

二、启动kafka服务

、在三个节点上依次启动Zookeeper

ZkServer.sh start

Step 2 启动kafka（三个节点都要启动）

/opt/module/kafka_2.11-2.0.0/bin/kafka-server-start.sh /opt/module/kafka_2.11-2.0.0/config/server.properties

注意：kafka启动后本终端不能管理，关闭会导致Kafka停止

Step 3 再开一个命令终端，查看kafka进程

su Hadoop

jps

Kafka集群部署与测试相关推荐

zookeeper+kafka集群部署+storm集群
zookeeper+kafka集群部署+storm集群一.环境安装前准备: 准备三台机器操作系统:centos6.8 jdk:jdk-8u111-linux-x64.gz zookeeper:zo ...
Hyperledger Fabric 1.4 Kafka集群部署教程
Hyperledger Fabric 1.4 Kafka集群部署教程作者:区块链教程时间:2019/12/08 10:36 标签:Docker ComposeDockerYMLHyperledge ...
Kafka集群部署详细步骤（包含zookeeper安装步骤）
Kafka集群部署注意:如果jdk1.8和zookeeper都安装设置过之后可以直接安装kafka跳过其它步骤 kafka基础简介及基本命令 1.环境准备 1.1集群规划 node01 node0 ...
Kafka集群部署搭建完美标准版
Kafka集群部署并启动在本文中将从演示如何搭建一个Kafka集群开始,然后简要介绍一下关于Kafka集群的一些基础知识点.但本文仅针对集群做介绍,对于Kafka的基本概念不做过多说明,这里假设读者 ...
kafka集群部署成功后，创建生产者往指定主题里面发送消息时出错
问题描述:kafka集群部署成功后,创建生产者往指定主题里面发送消息时出错,如下所示: 解决方法:在kafka的server.properties配置文件中需要打开listenners配置行,不要使用 ...
Kafka集群部署CentOS 7
一.前言 1.Kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台.Kakfa支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了Kafka ...
kafka 集群_单机版kafka集群部署
前言分布式消息队列是大型分布式系统不可缺少的中间件,主要解决应用耦合.异步消息.流量削锋等问题.实现高性能.高可用.可伸缩和最终一致性架构. 今天跟大家讲解下如何部署单机Kafka集群,希望大家喜欢 ...
Kafka（二）- Kafka集群部署
文章目录一.安装部署 1. 集群规划 2. 虚拟机前置准备工作 (1)配置IP (2)修改主机名称和hosts文件 (3)关闭防火墙,关闭防火墙开机自启 (4)克隆虚拟机 3. 集群部署 (1)解压 ...
redis-cluster集群部署及测试（超详细）
摘抄 Redis-Cluster采用无中心结构: 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. 节点的fail是通过集群中超过半数的节点检测失效时才生 ...

最新文章

热门文章