kafka下载安装配置
目录
一、官网下载
二、安装配置
本地安装配置(单机模式)
伪分布式模式
真分布式模式
安装过程遇到问题及解决办法
一、官网下载
官网地址:http://kafka.apache.org/
下载非src版(src版为源码)
二、安装配置
本地安装配置(单机模式)
kafka运行需要使用zookeper,安装zookeper可参考我的另一篇文章:https://blog.csdn.net/qq_26012495/article/details/102593752
直接解压至目标路径(常用/usr/local或/opt,这里选择/opt):
tar -zxvf kafka_2.13-2.5.0.tgz
配置环境变量,在/etc/profile下加入如下,然后执行source /etc/profile使配置生效【该步骤可略过,但不配置环境变量,执行kafka命令需要进入kafka_home/bin下】
export PATH=/opt/kafka_2.13-2.5.0/bin:$PATH
在/opt/kafka_2.13-2.5.0下新建文件夹
mkdir logs
修改日志打印路径为刚刚新建的文件夹(kafka文件夹下config文件夹中server.properties文件)
log.dirs=/opt/kafka_2.13-2.5.0/logs
启动kafka,此时必须保证zookeper已经启动,否则会启动失败(启动中会遇到某些失败情况,解决办法可见文章结尾)
kafka提供了本地启动脚本kafka-server-start.sh,该脚本在执行时需要指定server.properties配置文件,使用其中的配置完成KafkaServer的实例化,可选参数-daemon可使程序以守护进程的方式后台运行
控制台启动:
kafka-server-start.sh /opt/kafka_2.13-2.5.0/config/server.properties
后台启动:
kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server.properties
启动成功后,去看刚刚设置的日志路径,已经有了数据。
其中,/opt/kafka_2.13-2.5.0/config/log4j.properties可对Kafka的输出日志进行调整。
伪分布式模式
kafka启动需要指定一个用于kafka初始化的相关配置server.properties,该名字可任意,一个配置文件对应一个kafka实例。伪分布式模式就是在一台机器上启动多个kafka实例,因此需要复制多个server.properties,例如:
server_1.properties
server_2.properties
server_3.properties
并且需要指定不同的kafka实例日志存储在不同的路径,对应不同的端口号及集群id,分别设置server.properties中的这三个参数,并同时新建指定的日志目录【broker.id代表集群id,必须唯一,无大小之分;默认port为9092】:
集群1:
broker.id=1
log.dirs=/opt/kafka_2.13-2.5.0/logs/broker_1
port=9092
==========================================
集群2:
broker.id=2
log.dirs=/opt/kafka_2.13-2.5.0/logs/broker_2
port=9093
==========================================
集群3:
broker.id=3
log.dirs=/opt/kafka_2.13-2.5.0/logs/broker_3
port=9094
然后每一次启动指定一个server.properties
kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server1.properties
kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server2.properties
kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server3.properties
真分布式模式
略
安装过程遇到问题及解决办法
首次启动尽量以非-daemon方式启动,方便排查错误信息
一切准备就绪后首次启动,突然报错,看报错是内存不够了:
由于服务器内存太小,将启动参数调小,默认堆初始化(-Xms)空间为1GB,堆最大空间为1GB,kafka-server-start.sh文件中:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
改成:
export KAFKA_HEAP_OPTS="-Xmx128M -Xms128M"
改完后,启动流程走了起来,正在开心,发现结尾告诉我启动失败,然后发现报错了out of Memory...
再改
export KAFKA_HEAP_OPTS="-Xmx256M -Xms256M"
再启动,继续报错,崩溃。java.net.UnknownHostException: host.localdomain: host.localdomain: 未知的名称或服务
在kafkaHome/config/server.properties中新增
host.name=localhost
终于成功....
kafka下载安装配置相关推荐
- 1.Kafka下载安装
原文:kafka下载安装 一.安装jdk 参见:Linux环境下安装jdk1.8(安装包版) 二.安装kafka kafka安装包 链接:https://pan.baidu.com/s/1hy8XON ...
- mysql5.6.37驱动_mysql 5.6.37(zip)下载安装配置图文教程
本文为大家分享了mysql 5.6.37 下载安装配置教程,供大家参考,具体内容如下 1.下载地址 2.下载完成之后解压缩,移动至安装目录下,建议重命名为:mysql server 5.6,我的安装目 ...
- java jdk windows环境 下载安装配置环境变量
目录 下载 安装 环境变量 验证 下载 打开官网下载页面: https://www.oracle.com/java/technologies/javase-downloads.html 依次点击下图红 ...
- plsq卸载 删除注册表、_win10操作系统下oracle11g客户端/服务端的下载安装配置卸载总结...
win10操作系统下oracle11g客户端/服务端的下载安装配置卸载总结 一:前提 注意:现在有两种安装的方式 1. oracle11g服务端(64位)+oracle客户端(32位)+plsql(3 ...
- 【SSM面向CRUD编程专栏 3】关于黑马程序员最全SSM框架教程视频,P37集老师跳过的模块创建以及tomcat下载安装配置和运行等诸多问题
写在前面: 本人是在学习B站黑马程序员SSM框架教程视频的时候在P37集遇到了问题,如果不解决还没办法往下接着听,老师跳过的模块创建以及tomcat下载安装配置和运行等诸多问题,全在 ...
- MySQL 5.7.21详细下载安装配置教程
MySQL 5.7.21详细下载安装配置教程 前言 在安装MySQL的时候会遇到很多问题,博客上有很多解决问题的办法,在这里我附上一些链接,遇到问题的朋友们可以阅读参考哈~本文主要针对于刚接触数据库的 ...
- mysql 5.720安装_MySQL 5.7.27下载安装配置的详细教程
前言 在安装MySQL的时候会遇到很多问题,博客上有很多解决问题的办法,在这里我附上一些链接,遇到问题的朋友们可以阅读参考哈~本文主要针对于刚接触数据库的小白,来安装MySQL数据库.目前官网上的My ...
- mysql 5.5.29 winx64_【转载】MySQL 5.7.29详细下载安装配置教程winx64
版权声明:本文为CSDN博主「liu_dong_mei_mei」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明. 原文链接:https://blog.csdn.n ...
- 手把手教你下载安装配置Fiddler 和 Fiddler Everywhere
下载 下载地址: 官网 https://www.telerik.com/download/fiddler 进入下载页面后,会要求你填个邮箱,貌似我填别的你也不知道吧 哎呦,我用来干嘛你岂能知道,随便选 ...
- ftp工具FileZilla下载安装配置
FileZilla工具图: 客户端: 服务端: 我用的是阿里云服务器,当时不知道咋配置,花了2个多小时看文档(主要是没有找到连贯的教程:包含原理,下载安装配置,安装到阿里云服务器要开啥端口...)+百 ...
最新文章
- Box-Cox(python实现)
- fastRPC的数据库服务
- dubbo-admin构建问题总结
- easyui扩展-日期范围选择.
- mapper里面select id 后面一直红名_YTG晨晨改ID“进厂找班上了”,如此自嘲,心态还挺好...
- 计算机鼠标说课,信息技术课程(鼠标)全套讲课说课材料
- 从Http的连接到WebSocket
- Ubuntu环境搭建零:安装Linux虚拟机
- 移动端如何定义字体font-family
- VSCode : vscode-remote下无法写入文件及linux文件读写权限
- HDMI之DDC通道
- 在web项目中使用Nginx搭建静态资源服务器,展示静态资源
- ubuntu开机自动启动脚本_Ubuntu添加开机自动启动程序方法
- android app 经纬度,经纬度定位app
- 小米摄像头有onvif协议_小米8SE、魅族16T、荣耀畅玩9A对比
- OpenCV求解数独
- 安全防御----防火墙
- linux网卡桥接模式无法上网
- Android 打包apk出错问题
- Vue.js使用Echarts动态渲染多个图表
热门文章
- 精品思维导图模板合集,锻炼你的逻辑思维,提升能力空间
- mysql的数据库文件在哪里_MySQL数据库文件其具体的存放位置简述
- python贪吃蛇的实验报告_贪吃蛇游戏程序设计实验报告.doc
- 【已解决】NC65收款合同查询数据最多只显示5000条
- 2021年房地产经纪行业发展研究报告
- SpreadJS使用小结
- 设计素材网址集合(比较全)
- c语言gga字符串校验和代码,NEMA-0183(GPGGA,GPRMC,GPGSA,GPGSV,GPVTG)详解,并附解析代码(C语言版)...
- 如何使用分区工具实现无损分区大小调整?
- pycharm-.db文件打不开问题