目录

一、官网下载

二、安装配置

本地安装配置(单机模式)

伪分布式模式

真分布式模式

安装过程遇到问题及解决办法


一、官网下载

官网地址:http://kafka.apache.org/

下载非src版(src版为源码)

二、安装配置

本地安装配置(单机模式)

kafka运行需要使用zookeper,安装zookeper可参考我的另一篇文章:https://blog.csdn.net/qq_26012495/article/details/102593752

直接解压至目标路径(常用/usr/local或/opt,这里选择/opt):

tar -zxvf kafka_2.13-2.5.0.tgz

配置环境变量,在/etc/profile下加入如下,然后执行source /etc/profile使配置生效【该步骤可略过,但不配置环境变量,执行kafka命令需要进入kafka_home/bin下

export PATH=/opt/kafka_2.13-2.5.0/bin:$PATH

在/opt/kafka_2.13-2.5.0下新建文件夹

mkdir logs

修改日志打印路径为刚刚新建的文件夹(kafka文件夹下config文件夹中server.properties文件)

log.dirs=/opt/kafka_2.13-2.5.0/logs

启动kafka,此时必须保证zookeper已经启动,否则会启动失败(启动中会遇到某些失败情况,解决办法可见文章结尾

kafka提供了本地启动脚本kafka-server-start.sh,该脚本在执行时需要指定server.properties配置文件,使用其中的配置完成KafkaServer的实例化,可选参数-daemon可使程序以守护进程的方式后台运行 

控制台启动:
kafka-server-start.sh /opt/kafka_2.13-2.5.0/config/server.properties
后台启动:
kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server.properties

启动成功后,去看刚刚设置的日志路径,已经有了数据。

其中,/opt/kafka_2.13-2.5.0/config/log4j.properties可对Kafka的输出日志进行调整。 

伪分布式模式

kafka启动需要指定一个用于kafka初始化的相关配置server.properties,该名字可任意,一个配置文件对应一个kafka实例。伪分布式模式就是在一台机器上启动多个kafka实例,因此需要复制多个server.properties,例如:

server_1.properties
server_2.properties
server_3.properties

并且需要指定不同的kafka实例日志存储在不同的路径,对应不同的端口号及集群id,分别设置server.properties中的这三个参数,并同时新建指定的日志目录【broker.id代表集群id,必须唯一,无大小之分;默认port为9092】:

集群1:
broker.id=1
log.dirs=/opt/kafka_2.13-2.5.0/logs/broker_1
port=9092
==========================================
集群2:
broker.id=2
log.dirs=/opt/kafka_2.13-2.5.0/logs/broker_2
port=9093
==========================================
集群3:
broker.id=3
log.dirs=/opt/kafka_2.13-2.5.0/logs/broker_3
port=9094

然后每一次启动指定一个server.properties

kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server1.properties
kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server2.properties
kafka-server-start.sh -daemon /opt/kafka_2.13-2.5.0/config/server3.properties

真分布式模式

安装过程遇到问题及解决办法

首次启动尽量以非-daemon方式启动,方便排查错误信息

一切准备就绪后首次启动,突然报错,看报错是内存不够了:

由于服务器内存太小,将启动参数调小,默认堆初始化(-Xms)空间为1GB,堆最大空间为1GB,kafka-server-start.sh文件中:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
改成:
export KAFKA_HEAP_OPTS="-Xmx128M -Xms128M"

改完后,启动流程走了起来,正在开心,发现结尾告诉我启动失败,然后发现报错了out of  Memory...

再改

export KAFKA_HEAP_OPTS="-Xmx256M -Xms256M"

再启动,继续报错,崩溃。java.net.UnknownHostException: host.localdomain: host.localdomain: 未知的名称或服务

在kafkaHome/config/server.properties中新增

host.name=localhost

终于成功....

kafka下载安装配置相关推荐

  1. 1.Kafka下载安装

    原文:kafka下载安装 一.安装jdk 参见:Linux环境下安装jdk1.8(安装包版) 二.安装kafka kafka安装包 链接:https://pan.baidu.com/s/1hy8XON ...

  2. mysql5.6.37驱动_mysql 5.6.37(zip)下载安装配置图文教程

    本文为大家分享了mysql 5.6.37 下载安装配置教程,供大家参考,具体内容如下 1.下载地址 2.下载完成之后解压缩,移动至安装目录下,建议重命名为:mysql server 5.6,我的安装目 ...

  3. java jdk windows环境 下载安装配置环境变量

    目录 下载 安装 环境变量 验证 下载 打开官网下载页面: https://www.oracle.com/java/technologies/javase-downloads.html 依次点击下图红 ...

  4. plsq卸载 删除注册表、_win10操作系统下oracle11g客户端/服务端的下载安装配置卸载总结...

    win10操作系统下oracle11g客户端/服务端的下载安装配置卸载总结 一:前提 注意:现在有两种安装的方式 1. oracle11g服务端(64位)+oracle客户端(32位)+plsql(3 ...

  5. 【SSM面向CRUD编程专栏 3】关于黑马程序员最全SSM框架教程视频,P37集老师跳过的模块创建以及tomcat下载安装配置和运行等诸多问题

     写在前面:​        本人是在学习B站黑马程序员SSM框架教程视频的时候在P37集遇到了问题,如果不解决还没办法往下接着听,老师跳过的模块创建以及tomcat下载安装配置和运行等诸多问题,全在 ...

  6. MySQL 5.7.21详细下载安装配置教程

    MySQL 5.7.21详细下载安装配置教程 前言 在安装MySQL的时候会遇到很多问题,博客上有很多解决问题的办法,在这里我附上一些链接,遇到问题的朋友们可以阅读参考哈~本文主要针对于刚接触数据库的 ...

  7. mysql 5.720安装_MySQL 5.7.27下载安装配置的详细教程

    前言 在安装MySQL的时候会遇到很多问题,博客上有很多解决问题的办法,在这里我附上一些链接,遇到问题的朋友们可以阅读参考哈~本文主要针对于刚接触数据库的小白,来安装MySQL数据库.目前官网上的My ...

  8. mysql 5.5.29 winx64_【转载】MySQL 5.7.29详细下载安装配置教程winx64

    版权声明:本文为CSDN博主「liu_dong_mei_mei」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明. 原文链接:https://blog.csdn.n ...

  9. 手把手教你下载安装配置Fiddler 和 Fiddler Everywhere

    下载 下载地址: 官网 https://www.telerik.com/download/fiddler 进入下载页面后,会要求你填个邮箱,貌似我填别的你也不知道吧 哎呦,我用来干嘛你岂能知道,随便选 ...

  10. ftp工具FileZilla下载安装配置

    FileZilla工具图: 客户端: 服务端: 我用的是阿里云服务器,当时不知道咋配置,花了2个多小时看文档(主要是没有找到连贯的教程:包含原理,下载安装配置,安装到阿里云服务器要开啥端口...)+百 ...

最新文章

  1. Box-Cox(python实现)
  2. fastRPC的数据库服务
  3. dubbo-admin构建问题总结
  4. easyui扩展-日期范围选择.
  5. mapper里面select id 后面一直红名_YTG晨晨改ID“进厂找班上了”,如此自嘲,心态还挺好...
  6. 计算机鼠标说课,信息技术课程(鼠标)全套讲课说课材料
  7. 从Http的连接到WebSocket
  8. Ubuntu环境搭建零:安装Linux虚拟机
  9. 移动端如何定义字体font-family
  10. VSCode : vscode-remote下无法写入文件及linux文件读写权限
  11. HDMI之DDC通道
  12. 在web项目中使用Nginx搭建静态资源服务器,展示静态资源
  13. ubuntu开机自动启动脚本_Ubuntu添加开机自动启动程序方法
  14. android app 经纬度,经纬度定位app
  15. 小米摄像头有onvif协议_小米8SE、魅族16T、荣耀畅玩9A对比
  16. OpenCV求解数独
  17. 安全防御----防火墙
  18. linux网卡桥接模式无法上网
  19. Android 打包apk出错问题
  20. Vue.js使用Echarts动态渲染多个图表

热门文章

  1. 精品思维导图模板合集,锻炼你的逻辑思维,提升能力空间
  2. mysql的数据库文件在哪里_MySQL数据库文件其具体的存放位置简述
  3. python贪吃蛇的实验报告_贪吃蛇游戏程序设计实验报告.doc
  4. 【已解决】NC65收款合同查询数据最多只显示5000条
  5. 2021年房地产经纪行业发展研究报告
  6. SpreadJS使用小结
  7. 设计素材网址集合(比较全)
  8. c语言gga字符串校验和代码,NEMA-0183(GPGGA,GPRMC,GPGSA,GPGSV,GPVTG)详解,并附解析代码(C语言版)...
  9. 如何使用分区工具实现无损分区大小调整?
  10. pycharm-.db文件打不开问题