mac(Linux)安装配置kafka环境
mac(Linux)安装配置kafka环境
导读
本文介绍如何在Mac系统上安装和配置kafka环境,也适用于Linux系统,强烈***不建议***在Windows环境下尝试本博客。
软件环境说明如下:
- 操作系统:OS X 10.10.3
- JDK版本: 1.8
- zookeeper版本:zookeeper-3.4.9
- kafka版本:1.0.0
##一、安装包下载
1.1 zookeeper下载
zookeeper官网 :http://zookeeper.apache.org/.
下载截至当前日期(2018-01-13)的zookeeper稳定版本3.4.10,下载地址:http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/,找到zookeeper-3.4.10.tar.gz 并下载。如果由于网络原因下载速度过慢,可以镜像地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/ 。解压至 /usr/local/Cellar
目录下,解压命令:
tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/Cellar/
###[1.2] kafka下载
kafka官网:http://kafka.apache.org/
kafka 1.0.0下载地址: http://archive.apache.org/dist/kafka/1.0.0/
解压至 /usr/local/Cellar
目录下,解压命令:
tar -zxvf kafka_2.12-1.0.0.tgz -C /usr/local/Cellar/
好了,现在 /usr/local/Cellar
目录下有两个文件夹:
--/usr/local/Cellar-- zookeeper-3.4.10-- kafka_2.12-1.0.0
二、zookeeper配置与启动
2.1 配置zookeeper
把zookeeper-3.4.10/conf目录下的zoo_sample.cfg另存为zoo.cfg:
cd zookeeper-3.4.10/conf/cp zoo_sample.cfg zoo.cfg
找到dataDir=/tmp/zookeeper
,把dataDir修改为自定义目录。当然,也可以保持默认值。这里重新指定dataDir:
dataDir=/usr/local/Cellar/zookeeper-3.4.10/zookeeperData
2.2 启动zookeeper
执行zookeeper-3.4.10/bin目录下的zkServer.sh脚本即可启动zookeeper:
sh zkServer.sh start
如果看到如下输出,说明zookeeper启动成功:
ZooKeeper JMX enabled by default
Using config: /usr/local/Cellar/zookeeper-3.4.10/bin/../conf/zoo.cfg
-n Starting zookeeper ...
STARTED
zookeeper启动后 ,默认端口为2181.
三、kafka配置与启动
###3.1 配置kafka
####3.1.1 连接zookeeper
打开kafka_2.12-1.0.0/config/server.properties
,找到zookeeper.connect=localhost:2181
,这里的ip和端口要和zookeeper保持一致。
####3.1.2 配置log.dirs
server.properties中找到log.dirs,修改为自定义目录:
log.dirs=/usr/local/Cellar/kafka_2.12-1.0.0/kafka-logs
3.2 启动kafka
sh bin/kafka-server-start.sh config/server.properties &
此时可以用jps查看进程信息:
$ jps
1635 Jps
1404 Kafka
988 QuorumPeerMain
3.3 创建topic
创建一个topic和数据库里面建一个库是类似的(初次接触,暂时这么理解),测试命令:
sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
命令里面 --create
表示创建,--zookeeper localhost:2181
指定zookeeper的ip和端口, --replication-factor 1
表示topic的副本为1,--partitions 1
表示分区为1,--topic testtopic
表示创建一个名为testtopic的topic.
执行完以上命令,如果看到如下输出,说明topic创建成功:
......
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Created topic "testtopic".
[2018-01-14 00:24:06,526] INFO [ReplicaFetcherManager on broker 0] Removed fetcher for partitions testtopic-0 (kafka.server.ReplicaFetcherManager)
......
3.4 启动生产者
执行以下命令,启动生产者:
$ sh bin/kafka-console-producer.sh --broker-list localhost:9092 --sync --topic testtopic
输出如下:
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/Cellar/hbase-1.2.4/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/Cellar/kafka_2.12-1.0.0/libs/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
3.5 启动消费者
执行以下命令,启动消费者:
sh bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testtopic --from-beginning
新版本如果出现执行上面的命令无法查看topic里面的信息,报错“zookeeper is not a recognized option”,是因为-zookeeper是一个过时的的命令,替换为–bootstrap-server,端口指定9092:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic --from-beginning
mac(Linux)安装配置kafka环境相关推荐
- linux系统配置php环境,Linux安装配置php环境2种方法linux操作系统 -电脑资料
本文章来给大家介绍两种在linux中配置安装php方法,希望此方法对各位同学会有所帮助哦, php安装配置方法一 1.获取安装文件: http://www.php.net/downloads.php ...
- linux安装配置java,Linux 安装配置 java 环境
说明 不同的 Linux 发行版使用的命令可能有些许不同,本文以 64位的 Centos 7 为例 环境检查 有些 Linux 发行版内置了 jdk ,如果版本正好是你需要的可以不用安装 检查是否安装 ...
- linux 安装配置java环境 jdk1.6 jdk-6u45-linux-x64.bin
linux 平台上安装: 1.下载:jdk-6u45-linux-x64.bin 2.接下来,登录linux系统,赋予执行权限,命令如下: [plain] view plaincopy print? ...
- mac下安装配置nginx环境
本文介绍nginx在mac上的安装. 我是通过brewhome 来安装的. brew install nginx 一路顺畅. 下面是安装信息. 复制代码代码如下: hematoMacBook-Pro: ...
- Linux安装配置Java1.8开发环境
Linux安装配置Java开发环境 1 下载Java安装包 链接:https://pan.baidu.com/s/1MzFG9k1Uij_QDnsMA9epNg 提取码:2l26 2 上传JDK到Li ...
- centos6 安装 mantisbt-1.2.8 —— (4)在CentOS6.4中安装配置LAMP环境
一.修改设置对安装做准备 1 1. 防火墙设置 2 2. 关闭SELINUX 3 二.开始安装软件 4 1. MySql的安装和配置 4 2. Apache服务的安装和配置 8 3.安装PHP 10 ...
- Mac/Linux 安装 Go 详解
Mac 安装 Go brew 查看有哪些 golang版本可用 : $ brew search go ==> Formulae algol68g go-jira gofabric8 goolab ...
- linux离线配置qt环境,Linux下配置QT环境
一.下载Qt源码包到本机,然后解压缩 #tar zxvf qt-x11-opensource-src-4.3.2.tar.gz -C /usr/local //将qt-x11-opensource-s ...
- mac电脑配置java环境变量_教你在Mac系统中配置JAVA环境变量的方法
Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承.指针等概念,因此Java语言具有功能强大和简单易用两个特征.下面向大家介绍Mac电脑上如何配置Java ...
最新文章
- kafka的安装与启动运行
- android 无法安装测试版本,在测试应用更新时,安装无提示阻止Android版本构建签名APK...
- 招行率先落地房贷新政 其他银行细则仍在制定
- C# 事件(第四章)
- python progressbar print_python print 进度条的例子
- 第26月第13天 hibernate导包
- 树莓派 rfid_技术 | 对恶意树莓派设备的取证分析
- 测试freenas9.1搭建iscsi磁盘库
- 科技爱好者周刊:第 100 期
- 分享几个蛋白质互作网站——String (二)多基因蛋白互作
- mybatisplus的逻辑删除
- QQ省市县三级联动JS
- springboot 实现redis高并发抢票服务
- 说说Teams里的Card
- 最近很火的爱心红包教程~可以Biu~发射爱心的微信红包!太有创意啦~
- 终端(terminal)打印彩色文字
- 烟雨江湖服务器维护,烟雨江湖小米版-烟雨江湖小米服-最火软件站
- Vivado创建项目和仿真
- hse是什么意思的缩写_什么是HSE? HSE是什么?
- matlab 全1矩阵,matlab全为1的矩阵
热门文章
- IDEA格式化代码快捷键失灵原因
- 计算机毕业设计springboot+vue+elementUI 广场舞团高校舞蹈社团管理系统
- 科技公司薪酬排行榜:思科人均超12万美元居首
- 小学生计算机汉字输入课程教案,人教版(新版)小学信息三下第5课《中文输入快乐学》教案(与课件配套).doc...
- 微软云架构服务器,Azure 云服务(经典)NetworkConfiguration 架构 | Microsoft Docs
- Android 音视频开发(六) -- Android Mediaprojection 截屏和录屏
- 创建线程的几种方式?JSP的九大内置对象及作用分别是什么?servlet的生命周期及常用方法?转发和重定向区别?ajax书写方式及内部主要参数都有哪些
- linux上通过docker使用微信
- pytorch保存模型的两种方法
- |,^,(按位或,按位异或,按位与)