Kafka单机、集群模式安装详解(一)
本文环境如下:
操作系统:CentOS 6 32位
JDK版本:1.8.0_77 32位
Kafka版本:0.9.0.1(Scala 2.11)
1. 所需要的环境
Kafka需要以下运行环境:
Java 安装参考CentOS 6使用rpm方式安装JDK8
Zookeeper 安装参考:CentOS下ZooKeeper单机模式、集群模式安装
2. 下载、解压Kafka安装包
Kafka官网地址: http://kafka.apache.org/
例如:
wget "http://mirrors.hust.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz"
tar -xzvf kafka_2.11-0.9.0.1.tgz
mv kafka_2.11-0.9.0.1 /opt/
3. 配置环境变量(可选)
将kafka_2.11-0.9.0.1/bin添加到path,以方便访问
vi /etc/profile
在末尾添加:
KAFKA_HOME=/opt/kafka_2.11-0.9.0.1
PATH=$PATH:$KAFKA_HOME/bin
4. 启动单机模式
4.1 修改配置文件
cd /opt/kafka_2.11-0.9.0.1/config
vi server.properties
修改配置文件中的以下内容:
broker.id=0 //为依次增长的:0、1、2、3、4,集群中唯一id
log.dirs=/opt/kafka_2.11-0.9.0.1/logs //日志地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181 //zookeeperServers列表,各节点以逗号分开
4.2 启动程序
先要确保zookeeper
已启动,然后在Kafka目录执行
nohup bin/kafka-server-start.sh config/server.properties&
如果无报错则说明启动成功。nohup &
是实现在后台启动。
4.3 简单测试
打开2个终端,分别在Kafka目录执行以下命令
启动producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
启动consumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
在producer的命令行输入任意字符,观察consumer是否能正确接收。
5. 常见错误
5.1 启动Kafka时出现
Java HotSpot(TM) Server VM warning: INFO: os::commit_memory(0x67e00000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /opt/kafka_2.11-0.9.0.1/hs_err_pid2249.log
错误原因:
Kafka默认使用-Xmx1G -Xms1G
的JVM内存配置,如果机器内存较小,需要调整启动配置。
打开/config/kafka-server-start.sh,修改
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
为适合当前服务器的配置,例如export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Kafka单机、集群模式安装详解(一)相关推荐
- Kafka单机、集群模式安装详解(二)
本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 接上篇 Kafka单机.集群模式安装详解(一) 6. ...
- CentOS下Hive2.0.0集群模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 MySQL版本:5.6.30 1. 准备工作 1.1 ...
- 04_Flink-HA高可用、Standalone集群模式、Flink-Standalone集群重要参数详解、集群节点重启及扩容、启动组件、Flink on Yarn、启动命令等
1.4.Flink集群安装部署standalone+yarn 1.4.1.Standalone集群模式 1.4.2.Flink-Standalone集群重要参数详解 1.4.3.集群节点重启及扩容 1 ...
- CentOS下Hive2.0.0单机模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 1. 所需要的环境 Hive 2.0需要以下运行环境: ...
- Linux 高可用(HA)集群之Pacemaker详解
大纲 说明:本来我不想写这篇博文的,因为前几篇博文都有介绍pacemaker,但是我觉得还是得写一下,试想应该会有博友需要,特别是pacemaker 1.1.8(CentOS 6.4)以后,pacem ...
- Hadoop HA集群部署 - A - 详解
理论简介: HA 概念以及作用 HA(High Available), 高可用性群集,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点.通常把正在执行业务 ...
- 运维工程师必备之负载 均衡集群及LVS详解
原文地址:运维工程师必备之负载 均衡集群及LVS详解作者:蚁巡运维平台 来源: chrinux 的BLOG 时间: 2013-07-01 14:00 此博文主要介绍集群和负载均衡的基本理论和类别,内容 ...
- nc 模拟服务器_NC集群服务器使用详解
NC 集群服务器使用详解 NC220 发版时,对中间件做了一项重大改进,对集群服务器应用提供了全面解决方案 的支持, 使产品更加能够适应集团企业的大规模应用. 本文力争以通俗的语言, 描述集群服 务器 ...
- Windows下搭建Tomcat集群的配置详解
< Windows下搭建Tomcat集群基础入门详解 > 前言 在搭建 < Apache + Tomcat 实现Web服务器集群 > 前我们还需要实现 Tomcat集群实现Se ...
最新文章
- PHP函数整理(一)
- 32汇编语言程序说明_Linux 汇编语言学习--编译和链接
- 面向对象设计7大原则
- 克隆 Ubuntu 1804后续操作:修改用户名、主机名和组名
- Selenium下载与安装
- 如何回答「你的优势和劣势是什么」?【面试核心问题6】
- 水下钢质管道防渗漏水泥设备用环氧玻璃鳞片面漆 固体份含量高
- 二叉树多种遍历的时间复杂度和空间复杂度
- 项目管理IPD产品开发
- 人脸识别签到实习第三天
- Java计算圆、长方形、正方形的面积及周长,并比较打印各个图形的大小
- 一个大二博主的一年来写博的年终总结与未来展望——致2019努力的自己,也致2020更好的自己
- git命令大全(非常齐全)
- CodeCombat进军中国市场,中美少儿编程教育有何差距
- cdf日上免税店_把代购删了吧!在家也可以逛免税店
- 安装 opencv-python 出现Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build-npa
- 西行漫记(7):再论语法糖
- Unity 官方教程1
- VCM马达智能化也是一个趋势
- 初游青云山——温泉之旅