【kafka】二、kafka安装
kafka安装
集群方式安装,非单机模式
下载kafka
download kafka (apache.org)
本次使用版本是:kafka_2.11-0.11.0.0.tgz
准备工作
由于本次使用的kafka版本低,所以还需要准备zookeeper集群环境。
zookeeper集群搭建
三台kafka服务器:
- 192.168.171.132
- 192.168.171.133
- 192.168.171.134
下载好的安装包自行上传到服务器,上传路径自己指定
搭建kafka集群
解压安装包
cd /opt
tar -zxvf kafka_2.11-0.11.0.0.tgz
可以修改一下解压目录名称,不修改也可以
mv kafka_2.11-0.11.0.0 kafka
创建logs目录
进入到kafka目录下,创建logs文件夹
cd /opt/kafkamkdir logs
修改配置文件
cd /opt/kafka/config# 编辑server.properties
vim server.properties
找到以下配置修改,其余配置可以默认不动:
#broker 的全局唯一编号,不能重复,另外的服务器可使用1 2
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#kafka 运行数据日志存放的路径,上面步骤创建的logs文件夹
log.dirs=/opt/kafka/logs
# 配置zookeeper集群
zookeeper.connect=192.168.171.132:2181,192.168.171.133:2181,192.168.171.134:2181
环境变量配置
vim /etc/profile
添加配置:
#set kafka
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin
#使环境配置生效
source /etc/profile
分发安装包
使用命令:
xsync kafka/
注意:分发之后记得配置其他机器的环境变量
注:broker.id 不得重复
或者重复上面的操作步骤在另外的服务器上再次操作一遍。
启动kafka集群
依次进入到三台服务器的bin
目录,执行:
kafka-server-start.sh -daemon ../config/server.properties
-daemon
以进程式的方式启动kafka,不然启动的窗口是阻塞式的,不方便操作
关闭kafka集群
kafka-server-stop.sh stop
关闭的时候,可能会有点延迟,ps查看进程可能还会存在kafka的信息,稍等一会后再查看即可。
群起kafka脚本
本脚本服务器ip等信息是根据上面安装的环境来的,实际中根据自己的环境替换配置
1.首先需要设置每个服务器的hostname,如:
vim /etc/sysconfig/network
hostname=kafka1
然后另外两台服务器:设置为kafka2、kafka3。设置完成后重启服务器。
hostname=kafka2
hostname=kafka3
再用命令修改下主机名:
hostnamectl set-hostname kafka1
hostnamectl set-hostname kafka2
hostnamectl set-hostname kafka3
2.将ip与hostname写的hosts文件
vim /etc/hosts
192.168.171.132 kafka1
另外两台服务器同样操作一遍。
192.168.171.133 kafka2192.168.171.134 kafka3
3.完成后重启网卡
systemctl restart network
4.在另外一台服务器(运维服务器)上编写脚本,不是这三台kafka服务器
#!/bin/bash
case $1 in
"start"){for i in kafka1 kafka2 kafka3dossh $i@root 'source /etc/profile && /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties'echo "********************$i kafka start success************************"done
};;
"stop"){for i in kafka1 kafka2 kafka3dossh $i@root 'source /etc/profile && /opt/kafka/bin/kafka-server-stop.sh'echo "********************$i kafka stop success************************"done};;
esac
然后,在这台服务器的hosts文件中加入:
不然上面脚本里面进行ssh时,无法识别hostname
192.168.171.132 kafka1
192.168.171.133 kafka2
192.168.171.134 kafka3
后面再重新整下这个群起脚本,步骤可能有问题
【kafka】二、kafka安装相关推荐
- Kafka学习之二 Kafka安装和使用
部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0. 1. 单机环境 官方建议使用JDK 1.8版本,因此本文使 ...
- KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
- Kafka简介、安装
一.Kafka简介 Kafka是一个分布式.可分区的.可复制的消息系统. 几个基本的消息系统术语: 1.消费者(Consumer):从消息队列(Kafka)中请求消息的客户端应用程序. 2.生产者(P ...
- kafka安装完整步骤_还在寻找Kafka最新的安装教程吗?精细的安装步骤分享给大家...
Kafka集群部署 概述 之前的大数据集群主要是离线处理的方式对集群的数据进行开发处理.当前的集群数据量已经达到了PB级别了,离线数据获取主要是从数仓侧进行全量或者增量的方式导入大数据平台,部分是通过 ...
- 【kafka】Kafka 可视化工具Kafka Eagle安装和使用
一.背景 Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂.因此,大数据平台上需要一套Kafka的管理监控系统,Kafka-Eagle. Kafka ...
- win10下kafka集群安装+集成springboot
kafka安装+集成springboot 记录kafka安装.学习.继承springboot的过程 文章目录 kafka安装+集成springboot 前言 一.kafka + zk的安装 1.zk的 ...
- Kafka Eagle的安装(kafka-eagle-bin-1.3.7)
目录 介绍: 一.安装准备 二.安装配置 三.验证 介绍: Kafka Eagle是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态.Topic信息.IO.内存 ...
- Kafka Mac下安装与使用
文章目录 一.下载安装 二.启动Zookeeper 三.启动Kafka 四.创建Topic 五.查看Topic 六.删除Topic 七.生产/消费数据 八.查看消费组 九.查看消费组详情 一.下载安装 ...
- Linux上安装Kafka和Kafka的使用
如有侵权,私信立删 修改时间:2020年3月30日 作者:pp_x 邮箱:pp_x12138@163.com 文章目录 Kafka集群搭建 虚拟机中搭建 Kafka 集群 准备工作 Zookeeper ...
- Kafka 集群安装
一.集群准备 node1 192.168.157.128 node1 192.168.157.129 node1 192.168.157.130 二.安装zookeeper集群 Zookeeper 集 ...
最新文章
- D-Link云摄像头超过120款产品存在漏洞,约40万台设备受影响
- Fedora配置网络DHCP
- formdata上传文件_大文件分片断点上传实现思路以及方案
- numpy.sum详解
- python excel 操作
- [原创]IrrLicht的GUI使用
- java 继承 子类 实例化_关于Java继承中父类和子类构造函数的问题
- 1046. 划拳(15)
- 动态规划---背包问题分析
- sublime 设置新建文件自动添加author(作者)等文件头信息
- Flex读取xml文件
- AVVision Organized Session (IROS'21) 征稿开启
- LA2218半平面交
- 技能类别mysql_MySQL 数据类型
- 【UVA12169】不爽的裁判
- 【Java】Java_16 控制循环结构Break、Continue、Return
- python笔记(求100偶数的和)
- python 状态空间模型_基于状态空间的建模过程
- clearcase、Git之我见
- 微信消息推送渠道建设
热门文章
- AC敏捷控制器及准入控制技术对比
- C# 实现软件授权码的功能
- LocalDate获取当天,本月第一天,本月最后一天,今年第一天,今年最后一天
- Python中以字母r/R,或字母u/U 开头的字符串
- android开发--mp3播放器项目源代码(xml文件解析,.lrc,.mp3文件下载,同时显示歌词)
- HTML 转 PDf 方法一 wkhtmltopdf.exe
- 北鲲云超算平台为生命科学的发展赋能,24小时完成10亿规模分子库筛选全流程
- 用户画像无头绪?手把手教你RFM模型
- c 语言编写数字单片机0-9,【学习笔记】单片机的40个经典实验之30:点阵式 LED“0-9”数字显示技术...
- 一键式统计6.0季报测试