kafka详细安装运行

1、Alt+p打开sftp，将kafka上传到linux，我上传到hdp-4，/root/apps

sftp> cd apps
sftp> put -r "C:\Users\ThinkPad\Documents\Tencent Files\840657524\FileRecv\kafka_2.12-2.2.0.tgz"
Uploading kafka_2.12-2.2.0.tgz to /root/apps/kafka_2.12-2.2.0.tgz100% 55691KB  55691KB/s 00:00:01
C:/Users/ThinkPad/Documents/Tencent Files/840657524/FileRecv/kafka_2.12-2.2.0.tgz: 57028557 bytes transferred in 1 seconds (55691 KB/s)
sftp>

上传完成

到apps中查看

drwxr-xr-x. 10 1001 1002      161 3月  16 2019 hadoop-3.1.2
drwxr-xr-x.  7   10  143      245 12月 16 2018 jdk1.8.0_201
-rw-r--r--.  1 root root 57028557 10月 13 12:03 kafka_2.12-2.2.0.tgz

2、解压kafka到apps

[root@hdp-4 apps]# tar -zxvf kafka_2.12-2.2.0.tgz

3、设置环境变量

[root@hdp-4 apps]#  vi /etc/profile

在最下面输入

exprot KAFKA_HOME=/root/apps/kafka_2.12-2.2.0
exprot PATH=$PATH:$KAFKA_HOME/bin

保存退出

4、source命令使环境变量生效

[root@hdp-1 ~]# source /etc/profile
[root@hdp-1 ~]#

5、修改kafka配置文件

cd apps/kafka_2.12-2.2.0/config/

备份一下原始的server.properties

cp server.properties server.properties.bak

修改配置文件： vi /server.properties


############################# Socket Server Settings ############################## The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://hdp-4:9092
#listeners=PLAINTEXT://:9092

修改listeners=PLAINTEXT的host_name为自己的linux名

############################# Server Basics ############################## The id of the broker. This must be set to a unique integer for each broker.
broker.id=1

保证broker.id与其他的虚拟机不冲突就行

############################# Log Basics ############################## A comma separated list of directories under which to store log files
log.dirs=/root/kafkadata/kafka-logs

修改log配置文件

############################# Zookeeper ############################## Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=hdp-4:2181

修改zookeeper的连接地址，多个地址逗分开

6、分发，将hdp-4的kafka安装文件分发到其他linu

scp -r apps/kafka_2.12-2.2.0 hdp-3:/apps

注意：分别修改config中的server.properties

7、启动zookeeper集群
脚本启动：

./zkmanager.sh start

脚本在/root，脚本代码

#! /bin/bash
for host in hdp-1 hdp-2 hdp-3
do
echo “${host}:${1}ing....”
ssh $host  "source /etc/profile;/root/apps/zookeeper-3.4.6/bin/zkServer.sh $1"
done

8、启动kafka

[root@hdp-1 ~]# cd apps/kafka_2.12-2.2.0/bin
[root@hdp-1 bin]# ./kafka-server-start.sh ../config/server.properties

kafka详细安装运行相关推荐

Win7下MATLAB 7.0下载地址+详细安装+运行错误解决
MATLAB 7.0下载地址 http://pan.baidu.com/share/link?shareid=10874&uk=3928989303 ed2k链接下载地址,打开迅雷或者旋风后, ...
Kafka简介及详细安装教程
前面给大家讲过flume的简介与安装,还没有安装好的朋友可以再去看看教程 Flume简介与详细安装教程今天就给大家详细介绍下当下流行的分布式发布 - 订阅消息系统Kafka. 那么问题来了,什么是K ...
kafka的安装与启动运行
kafka简介 kafka是一种高吞吐量的分布式发布订阅消息系统. 环境搭建 1.首先安装JDK 下载地址https://www.oracle.com/technetwork/java/javase/ ...
python安装了运行不了_python详细安装教程
本章开始,我们将详细介绍Python编程环境的搭建,工欲善其事必先利其器,所以我们这里先介绍python详细安装教程.由于Python是跨平台的,他可以运行在Windows.Linux.Mac等系统上 ...
Windows OS上安装运行Apache Kafka教程
Windows OS上安装运行Apache Kafka教程下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka. 简介本文讲述了如何在 ...
【关于Citespace和JRE（JAVA运行环境）的详细安装教程】
关于Citespace和JRE(JAVA运行环境)的详细安装教程想要运行Citespace, 先搭建JRE运行环境 1. JRE运行环境 1.Java中JDK包含JRE(即占内存更多),若只用Cit ...
在Windows安装运行Kafka
在Windows安装运行Kafka 一.安装JAVA JDK 1.下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8- ...
DynaSLAM超详细安装配置运行ubantu20.0.4+opencv2.4.11+tensorflow1.4.0
DynaSLAM超详细安装配置运行ubantu20.0.4+opencv2.4.11+tensorflow1.4.0 注:我现在ubantu的环境是基于可以运行ORB SLAM 2和ORB SLAM3 ...
基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解）（默认端口或任意自定义端口）...
不多说,直接上干货! 至于为什么,要写这篇博客以及安装Kafka-manager? 问题详情无奈于,在kafka里没有一个较好自带的web ui.启动后无法观看,并且不友好.所以,需安装一个第三方的 ...
安装 | Windows 10下基于Anaconda的TensorFlow详细安装步骤（续）——Pycharm运行tensorflow
github:https://github.com/MichaelBeechan CSDN:https://blog.csdn.net/u011344545 Blogger:MichaelBeecha ...

kafka详细安装运行

kafka详细安装运行相关推荐

最新文章

热门文章