Windows OS上安装运行Apache Kafka教程
Windows OS上安装运行Apache Kafka教程
下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。
简介
本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper。
Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作。更多信息请参见http://kafka.apache.org。由于 Zookeeper能提供可靠的分布式协调服务,Apache Kafka需要运行一个Zookeeper实例。更多Zookeeper的相关信息请查看https://zookeeper.apache.org/。
关于在Windows安装Kafka的具体步骤,可以查看这个视频:https://youtu.be/OJKesEpO6ok
下载所需文件
根据系统OS和CPU架构,在这里下载Server JRE http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
在这里下载并安装7-zip http://www.7-zip.org/download.html
在这里下载Zookeeper,并用7-zip解压 http://zookeeper.apache.org/releases.html
在这里下载Kafka并用7-zip解压 http://kafka.apache.org/downloads.html
针 对此教程,我们将Zookeeper与Kafka解压到C盘,不过也可以选择其他位置。这里我们要使用完全的zookeeper,而不是用Kafka打包 的那个,因为这是一个单节点的Zookeeper实例。也可以运行打包了zookeeper的Kafka,位置在\kafka\bin\windows库 中。
安装
A. JDK安装
1.启动JRE安装,选中复选框“修改目标路径”,然后点击安装。
2.修改安装目录,文件夹名称中不能有空格,例如:C:\Java\jre1.8.0_xx\(默认情况下是C:\Program Files\Java\jre1.8.0_xx),然后点击下一步。
3.现在点击控制面板->系统->高级系统设置->环境变量,打开系统环境变量对话框。
4.点击用户变量中的新用户变量按钮,然后在变量名称那里输入JAVA_HOME,并将自定义的jre路径填入变量值。如下图所示:
Java路径与版本可能会根据所使用Kafka的版本而有所改变
5.现在点击ok。
6.刚才打开的“环境变量“对话框中有“系统变量”一栏,在其中寻找路径变量。
7.编辑路径与类型“;%JAVA_HOME%\bin”,如下图:
8.确认Java安装打开cmd,输入类型“java –version”,应该能够看到刚刚安装的java版本。
如果命令行提示与上图类似,请继续。否则,需要重新检查安装版本是否与OS架构匹配(x86, x64),以及环境变量路径是否正确。
B. Zookeeper安装
1.进入Zookeeper设置目录,比如C:\zookeeper-3.4.7\conf
2. 将“zoo_sample.cfg”重命名为“zoo.cfg”。
3. 在任意文本编辑器(如notepad)中打开zoo.cfg,我个人更喜欢notepad++。
4. 找到并编辑dataDir=/tmp/zookeeper to :\zookeeper-3.4.7\data
5. 与Java中的做法类似,我们在系统环境变量中添加:
a. 在系统变量中添加ZOOKEEPER_HOME = C:\zookeeper-3.4.7
b. 编辑系统变量,命名为路径 System Variable%ZOOKEEPER_HOME%\bin;
6. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)。
7. 打开新的cmd,输入zkserver,运行Zookeeper。
8. 命令行提示如下:
恭喜,Zookeeper已经完成并在端口2181运行。
C. 安装Kafka
1. 进入Kafka配置目录,例如C:\kafka_2.11-0.9.0.0\config
2. 编辑文件“server.properties”
3. 找到并编辑“log.dirs=/tmp/kafka-logs” to “log.dir= C:\kafka_2.11-0.9.0.0\kafka-logs”
4. 如果Zookeeper在某些其他的机器或集群上运行,可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我 们使用了同一个机器,因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。
5. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。
D. 运行Kafka服务器
重要:请确保在启动Kafka服务器前,Zookeeper实例已经准备好并开始运行。
1.进入Kafka安装目录C:\kafka_2.11-0.9.0.0\
2.按下Shift+右键,选择“打开命令窗口”选项,打开命令行。
3.现在输入.\bin\windows\kafka-server-start.bat .\config\server.properties 并回车。
.\bin\windows\kafka-server-start.bat .\config\server.properties
4.如果一切正常,命令行应当是这样:
5.现在Kafka已经准备好并开始运行,可以创建主题来存储消息了。我们也能从Java/Scala代码中,或直接从命令行中生成或使用数据。
E. 创建主题
1. 现在创建主题,命名为“test”,replication factor=1(因为只有1个Kafka服务器在运行)。如果集群中所运行的Kafka服务器不止1个,可以相应增加replication-factor,从而提高数据可用性和系统容错性。
2. 在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。
3. 输入下面的命令,回车:
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
F. 创建Producer及Consumer来测试服务器。
1.在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。
2.输入以下命令,启动producer:
kafka-console-producer.bat --broker-list localhost:9092 --topic test
3.在同样的位置C:\kafka_2.11-0.9.0.0\bin\windows再次打开新的命令行。
4.现在输入下列命令启动consumer:
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
5.现在有两个命令行窗口,如下图:
6.在producer命令行中任意输入内容,回车;在其他consumer命令行中能看到相应消息。
7.如果能够将消息推送到consumer端并显示出来的话,Kafka安装就完成了。
一些有用的命令
1. 列出主题:kafka-topics.bat –list –zookeeper localhost:2181
2. 描述主题:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]
3. 从头读取消息:kafka-console-consumer.bat –zookeeper localhost:2181 –topic [Topic Name] –from-beginning
4. 删除主题:kafka-run-class.bat kafka.admin.TopicCommand –delete –topic [topic_to_delete] –zookeeper localhost:2181
转载于:https://www.cnblogs.com/Qiaoyq/p/5717404.html
Windows OS上安装运行Apache Kafka教程相关推荐
- windows apche php mysql zend_Windows XP上安装配置 Apache+PHP+Mysql+Zend
Windows XP上安装配置 Apache+PHP+Mysql+Zend 发布时间:2008-09-08 19:38:42 作者:佚名 我要评论 所需软件: apache_2.0.58-wi ...
- mac安装rstudio_在Windows / Linux / Mac OS上安装R和RStudio入门
mac安装rstudio 在Windows上安装R (Installing R on Windows) Go to r-project.org on your internet browser.在您的 ...
- DB 查询分析器 6.03 在Windows 8 上安装与运行演示
DB 查询分析器 6.03 在Windows 8 上安装与运行演示 马根峰 ( 广东联合电子服务股份有限公司, 广州 510300) 摘要 ...
- 在Windows上安装TkInter:完整教程
在Windows上安装TkInter:完整教程 如果你正在寻找一种可在Windows上使用的GUI库,那么TkInter是一个非常好的选择.但是,如果你手头的资源中没有TkInter,则你需要使用下面 ...
- Docker学习之Windows Home上安装Docker Desktop的完整图文教程
Windows Home上安装Docker Desktop的完整图文教程 记录安装过程,文字略显沙雕✧٩(ˊωˋ*)و✧ 来自Docker官方文档: 支持的平台 Docker Engine可 通过Do ...
- 如何在 Windows 10 上安装华为模拟器eNSP?保姆级的教程来喽,附安装包下载
由于最新版本的 eNSP不再包含必备组件 VirtualBox 和 WinPcap,为了使安装生效,我们需要 预先安装这些组件.在这篇文章中,我将向您介绍如何在 Windows 10 中安装 eNSP ...
- mac os maven_如何在Mac OS上安装Maven
mac os maven 在Mac上安装Maven (Install Maven on Mac) Maven is the most widely used build and project dep ...
- ubuntu15.04配置php,Linux_Ubuntu 15.04上安装Justniffer的详细教程,Justniffer 是一个可用于替代 Snor - phpStudy...
Ubuntu 15.04上安装Justniffer的详细教程 Justniffer 是一个可用于替代 Snort 的网络协议分析器.它非常流行,可交互式地跟踪/探测一个网络连接.它能从实时环境中抓取流 ...
- Windows平台上安装搭建iPhone/iPad的开发环境
很多朋友希望在体验或学习iphone开发,但是iphone开发环境一般需要 安装在mac计算机下mac os中. 这给许多朋友带来了额外成本投入. 网上已经有各种破解方法,在非苹果电脑上安装iphon ...
最新文章
- Revit二次开发之“选择某一楼层的墙”
- vue父子组件写法,数据传递,顺便封装 element-ui的弹窗组建
- php 如何把u5fb,php如何将json中的unicode编码转为汉字?
- 大数据标签获取处理步骤_大数据处理分为哪些步骤
- linux kernel基本构成的内容有下列哪些项_Linux_GUI加速(2)_Linux中的DRM-KMS分析
- mysql timestampt 输入字符串的格式不正确._mysql中取出的时间格式不正确
- Android之jni出现JNIEnv has no member named ‘GetMehtodID‘解决办法
- android支付宝支付开发过程
- CABasicAnimation 按home键后台之后,再切回来动画就停止
- 软件安装包是html怎么办,怎么把软件变成安装包
- 永中word页码怎么从第二页开始_如何在Word的任意一页插入页码?原来还有这么简单的方法...
- 基于Ubuntu 18.04配置固定IP方法
- 渔业古谚语 好吃排“第五”——清蒸白姑鱼
- MSP430初学one
- MiniGUI源码分析:GDI(1)-- GDI概览及Surface
- “为了交项目干杯”对“那周余嘉熊掌将得队”、“男上加男,强人所男”的Beta产品测试报告...
- Mongodb常用查询
- re:正则表达式,字符串处理的杀手锏
- 使用pdfcrack破解PDF密码(Linux)
- 谷歌云wordpress搭建博客网站
热门文章
- 计算机网络课程设计之网络代理服务器的设计与实现
- layui结合form,table的全选、反选v1.0
- centos 7 java安装路径_Linux CentOS 7.0中java安装与配置环境变量的步骤详解
- Qt实践| HTTP知识点-Qt填充referer请求头盗取图片
- QML笔记-QML基本数据类型的使用
- 动态调用object php,PHP动态调用,大家都来谈吧
- oracle备份信息在控制文件丢失,恢复之利用备份在所有控制文件丢失情况下恢复(一)...
- 动词ing基本用法_如果实在分不清英语动名词和现在分词,那就直接学习-ing分词...
- linux脚本 sed,Linux脚本利器sed
- 7 centos 设置jvmgc_centos下docker离线部署