Windows OS上安装运行Apache Kafka教程

下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。

简介

本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper。

Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作。更多信息请参见http://kafka.apache.org。由于 Zookeeper能提供可靠的分布式协调服务,Apache Kafka需要运行一个Zookeeper实例。更多Zookeeper的相关信息请查看https://zookeeper.apache.org/。

关于在Windows安装Kafka的具体步骤,可以查看这个视频:https://youtu.be/OJKesEpO6ok

下载所需文件

  • 根据系统OS和CPU架构,在这里下载Server JRE http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

  • 在这里下载并安装7-zip http://www.7-zip.org/download.html

  • 在这里下载Zookeeper,并用7-zip解压 http://zookeeper.apache.org/releases.html

  • 在这里下载Kafka并用7-zip解压 http://kafka.apache.org/downloads.html

针 对此教程,我们将Zookeeper与Kafka解压到C盘,不过也可以选择其他位置。这里我们要使用完全的zookeeper,而不是用Kafka打包 的那个,因为这是一个单节点的Zookeeper实例。也可以运行打包了zookeeper的Kafka,位置在\kafka\bin\windows库 中。

安装

A. JDK安装

1.启动JRE安装,选中复选框“修改目标路径”,然后点击安装。

2.修改安装目录,文件夹名称中不能有空格,例如:C:\Java\jre1.8.0_xx\(默认情况下是C:\Program Files\Java\jre1.8.0_xx),然后点击下一步。

3.现在点击控制面板->系统->高级系统设置->环境变量,打开系统环境变量对话框。

4.点击用户变量中的新用户变量按钮,然后在变量名称那里输入JAVA_HOME,并将自定义的jre路径填入变量值。如下图所示:

Java路径与版本可能会根据所使用Kafka的版本而有所改变

5.现在点击ok。

6.刚才打开的“环境变量“对话框中有“系统变量”一栏,在其中寻找路径变量。

7.编辑路径与类型“;%JAVA_HOME%\bin”,如下图:

8.确认Java安装打开cmd,输入类型“java –version”,应该能够看到刚刚安装的java版本。

如果命令行提示与上图类似,请继续。否则,需要重新检查安装版本是否与OS架构匹配(x86, x64),以及环境变量路径是否正确。

B. Zookeeper安装

1.进入Zookeeper设置目录,比如C:\zookeeper-3.4.7\conf

2. 将“zoo_sample.cfg”重命名为“zoo.cfg”。

3. 在任意文本编辑器(如notepad)中打开zoo.cfg,我个人更喜欢notepad++。

4. 找到并编辑dataDir=/tmp/zookeeper to :\zookeeper-3.4.7\data

5. 与Java中的做法类似,我们在系统环境变量中添加:

  a. 在系统变量中添加ZOOKEEPER_HOME = C:\zookeeper-3.4.7

  b. 编辑系统变量,命名为路径 System Variable%ZOOKEEPER_HOME%\bin;

6. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)。

7. 打开新的cmd,输入zkserver,运行Zookeeper。

8. 命令行提示如下:

恭喜,Zookeeper已经完成并在端口2181运行。

C. 安装Kafka

1. 进入Kafka配置目录,例如C:\kafka_2.11-0.9.0.0\config

2. 编辑文件“server.properties”

3. 找到并编辑“log.dirs=/tmp/kafka-logs” to “log.dir= C:\kafka_2.11-0.9.0.0\kafka-logs”

4. 如果Zookeeper在某些其他的机器或集群上运行,可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我 们使用了同一个机器,因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。

5. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。

D. 运行Kafka服务器

重要:请确保在启动Kafka服务器前,Zookeeper实例已经准备好并开始运行。

1.进入Kafka安装目录C:\kafka_2.11-0.9.0.0\

2.按下Shift+右键,选择“打开命令窗口”选项,打开命令行。

3.现在输入.\bin\windows\kafka-server-start.bat .\config\server.properties 并回车。

.\bin\windows\kafka-server-start.bat .\config\server.properties

4.如果一切正常,命令行应当是这样:

5.现在Kafka已经准备好并开始运行,可以创建主题来存储消息了。我们也能从Java/Scala代码中,或直接从命令行中生成或使用数据。

E. 创建主题

1. 现在创建主题,命名为“test”,replication factor=1(因为只有1个Kafka服务器在运行)。如果集群中所运行的Kafka服务器不止1个,可以相应增加replication-factor,从而提高数据可用性和系统容错性。

2. 在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。

3. 输入下面的命令,回车:

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

F. 创建Producer及Consumer来测试服务器。

1.在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。

2.输入以下命令,启动producer:

kafka-console-producer.bat --broker-list localhost:9092 --topic test

3.在同样的位置C:\kafka_2.11-0.9.0.0\bin\windows再次打开新的命令行。

4.现在输入下列命令启动consumer:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

5.现在有两个命令行窗口,如下图:

6.在producer命令行中任意输入内容,回车;在其他consumer命令行中能看到相应消息。

7.如果能够将消息推送到consumer端并显示出来的话,Kafka安装就完成了。

一些有用的命令

1. 列出主题:kafka-topics.bat –list –zookeeper localhost:2181

2. 描述主题:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]

3. 从头读取消息:kafka-console-consumer.bat –zookeeper localhost:2181 –topic [Topic Name] –from-beginning

4. 删除主题:kafka-run-class.bat kafka.admin.TopicCommand –delete –topic [topic_to_delete] –zookeeper localhost:2181

转载于:https://www.cnblogs.com/Qiaoyq/p/5717404.html

Windows OS上安装运行Apache Kafka教程相关推荐

  1. windows apche php mysql zend_Windows XP上安装配置 Apache+PHP+Mysql+Zend

    Windows XP上安装配置 Apache+PHP+Mysql+Zend 发布时间:2008-09-08 19:38:42   作者:佚名   我要评论 所需软件: apache_2.0.58-wi ...

  2. mac安装rstudio_在Windows / Linux / Mac OS上安装R和RStudio入门

    mac安装rstudio 在Windows上安装R (Installing R on Windows) Go to r-project.org on your internet browser.在您的 ...

  3. DB 查询分析器 6.03 在Windows 8 上安装与运行演示

         DB 查询分析器 6.03 在Windows 8 上安装与运行演示 马根峰                 ( 广东联合电子服务股份有限公司, 广州 510300) 摘要           ...

  4. 在Windows上安装TkInter:完整教程

    在Windows上安装TkInter:完整教程 如果你正在寻找一种可在Windows上使用的GUI库,那么TkInter是一个非常好的选择.但是,如果你手头的资源中没有TkInter,则你需要使用下面 ...

  5. Docker学习之Windows Home上安装Docker Desktop的完整图文教程

    Windows Home上安装Docker Desktop的完整图文教程 记录安装过程,文字略显沙雕✧٩(ˊωˋ*)و✧ 来自Docker官方文档: 支持的平台 Docker Engine可 通过Do ...

  6. 如何在 Windows 10 上安装华为模拟器eNSP?保姆级的教程来喽,附安装包下载

    由于最新版本的 eNSP不再包含必备组件 VirtualBox 和 WinPcap,为了使安装生效,我们需要 预先安装这些组件.在这篇文章中,我将向您介绍如何在 Windows 10 中安装 eNSP ...

  7. mac os maven_如何在Mac OS上安装Maven

    mac os maven 在Mac上安装Maven (Install Maven on Mac) Maven is the most widely used build and project dep ...

  8. ubuntu15.04配置php,Linux_Ubuntu 15.04上安装Justniffer的详细教程,Justniffer 是一个可用于替代 Snor - phpStudy...

    Ubuntu 15.04上安装Justniffer的详细教程 Justniffer 是一个可用于替代 Snort 的网络协议分析器.它非常流行,可交互式地跟踪/探测一个网络连接.它能从实时环境中抓取流 ...

  9. Windows平台上安装搭建iPhone/iPad的开发环境

    很多朋友希望在体验或学习iphone开发,但是iphone开发环境一般需要 安装在mac计算机下mac os中. 这给许多朋友带来了额外成本投入. 网上已经有各种破解方法,在非苹果电脑上安装iphon ...

最新文章

  1. Revit二次开发之“选择某一楼层的墙”
  2. vue父子组件写法,数据传递,顺便封装 element-ui的弹窗组建
  3. php 如何把u5fb,php如何将json中的unicode编码转为汉字?
  4. 大数据标签获取处理步骤_大数据处理分为哪些步骤
  5. linux kernel基本构成的内容有下列哪些项_Linux_GUI加速(2)_Linux中的DRM-KMS分析
  6. mysql timestampt 输入字符串的格式不正确._mysql中取出的时间格式不正确
  7. Android之jni出现JNIEnv has no member named ‘GetMehtodID‘解决办法
  8. android支付宝支付开发过程
  9. CABasicAnimation 按home键后台之后,再切回来动画就停止
  10. 软件安装包是html怎么办,怎么把软件变成安装包
  11. 永中word页码怎么从第二页开始_如何在Word的任意一页插入页码?原来还有这么简单的方法...
  12. 基于Ubuntu 18.04配置固定IP方法
  13. 渔业古谚语 好吃排“第五”——清蒸白姑鱼
  14. MSP430初学one
  15. MiniGUI源码分析:GDI(1)-- GDI概览及Surface
  16. “为了交项目干杯”对“那周余嘉熊掌将得队”、“男上加男,强人所男”的Beta产品测试报告...
  17. Mongodb常用查询
  18. re:正则表达式,字符串处理的杀手锏
  19. 使用pdfcrack破解PDF密码(Linux)
  20. 谷歌云wordpress搭建博客网站

热门文章

  1. 计算机网络课程设计之网络代理服务器的设计与实现
  2. layui结合form,table的全选、反选v1.0
  3. centos 7 java安装路径_Linux CentOS 7.0中java安装与配置环境变量的步骤详解
  4. Qt实践| HTTP知识点-Qt填充referer请求头盗取图片
  5. QML笔记-QML基本数据类型的使用
  6. 动态调用object php,PHP动态调用,大家都来谈吧
  7. oracle备份信息在控制文件丢失,恢复之利用备份在所有控制文件丢失情况下恢复(一)...
  8. 动词ing基本用法_如果实在分不清英语动名词和现在分词,那就直接学习-ing分词...
  9. linux脚本 sed,Linux脚本利器sed
  10. 7 centos 设置jvmgc_centos下docker离线部署