Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper

1.安装zookeeper

1.1 下载安装文件: http://mirror.bit.edu.cn/apache/zookeeper/
1.2 解压文件(本文解压到 D:\zookeeper-3.4.8)
1.3 打开D:\zookeeper-3.4.8\conf,把zoo_sample.cfg重命名成zoo.cfg
1.4 从文本编辑器里打开zoo.cfg
1.5 修改dataDir和dataLogDir保存路径
dataDir=D:\logs\zookeeper
dataLogDir=D:\data\logs\zookeeper
1.6 添加如下系统变量:ZOOKEEPER_HOME: D:\zookeeper-3.4.8
Path: 在现有的值后面添加 ;%ZOOKEEPER_HOME%\bin;
2.cmd运行zookeeper

运行Zookeeper: 打开cmd然后执行zkserver 命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口。

截图好像报错了·~~

2.安装并运行Kafka
2.1 下载安装文件: http://kafka.apache.org/downloads.html
2.2 解压文件(本文解压到 D:\kafka_2.11-0.10.2.0)
2.3 打开D:\kafka_2.11-0.10.2.0\config\ server.properties
2.4 把 log.dirs的值改成 log.dirs=D:\data\logs\kafka
2.5 D:\kafka_2.11-0.10.2.0\bin文件夹下的.sh命令脚本是在shell下运行的,此文件夹下还有个 windows文件夹,里面是windows下运行的.bat命令脚本
2.6 在D:\kafka_2.11-0.10.2.0文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口
2.7 输入并执行一下命令以打开kafka:(根据实际情况可以进行适当的路径修改)
.\bin\windows\kafka-server-start.bat .\config\server.properties

3.创建topics
3.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1029
4.打开一个Producer
4.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-console-producer.bat --broker-list localhost:9092 --topic test1029
5.打开一个Consumer
5.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

关于最后消费者启动的方法,目前已经过时,0.90版本之后启动消费者的方法:,kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test0811 --from-beginning

注意:以上打开的窗口不要关闭
然后就可以在Producer控制台窗口输入消息了。在消息输入过后,很快Consumer窗口就会显示出Producer发送的消息

转载于:https://www.cnblogs.com/yang-ye/p/9873041.html

本地windows下新建kafka生产消费数据相关推荐

  1. 装了linux后windows被破坏了,windows下可以破坏linux的数据么-

    windows下可以破坏linux的数据么- (2011-08-28 01:58:11) 标签: 杂谈 windows下可以破坏linux的数据么?单机装了2个系统,一直都很好,后来发现xp不能进入了 ...

  2. #数据库--第1章 Windows 下的数据库导入 TPCH 数据(以 SQL Server 作为示例,MySQL同样适用)

    #数据库--第1章 Windows 下的数据库导入 TPCH 数据(以 SQL Server 作为示例,MySQL同样适用 一.TPCH 简介 二.TPCH 文件 三.生成 TPCH 数据 四.导入 ...

  3. kafka生产消费原理笔记

    一.什么是kafka Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性 ...

  4. windows下用elasticdump导入json数据到Elasticsearch中

    一.前言 ES的备份,导入和导出相对而言比较麻烦.用logstash的话,经常会出现很多错误,而且不是很方便.用bulk也是一样的,对于咱们的json文件的结构,一些字段名都有要求,也不方便.后来和大 ...

  5. windows下使用kafka

    1. 到官网下载想要的版本. 2. 启动服务 2.1 解压后打开目录kafka_2.12-2.1.0\bin\windows 2.2 打开kafka_2.12-2.1.0\config修改配置文件 将 ...

  6. Kafka 命令之查看topic生产消费数据查看组的消费信息

    1.创建 topic: [root@node1 bin]# ./kafka-topics.sh --zookeeper node2:2181,node3:2181,node3:2181 --creat ...

  7. Apache Kafka-Spring Kafka生产消费@KafkaListener源码解析

    文章目录 概述 Spring-kafka生产者源码流程 Spring-kafka消费者源码流程(`@EnableKafka`和`@KafkaListener` ) Flow KafkaListener ...

  8. Windows下通过FTP自动备份数据到服务器并删除指定天数前的备份

    有时候我们想将本地的备份文件放到别的服务器上,实现异地备份,更安全,那么就可以参考下面的方法 说明: 1.要备份的文件在D盘根目录下面,以时间命名,(一般我们通过护卫神的好备份软件实现备份)例如 D: ...

  9. kettle kafka mysql_kettle使用kafka组件消费数据,保存到资源库无法打开问题

    使用kafka消费者组件消费kafka数据时,填写好相关参数配置 在保存的数据库资源库后无法打开如下图: 出现了如下的错误: java.lang.IllegalArgumentException: A ...

最新文章

  1. JAVA基础——Switch条件语句
  2. python应用中调用spark_在python中使用pyspark读写Hive数据操作
  3. 二叉平衡树算法c语言,算法9-9~9-12:平衡二叉树的基本操作 (C语言代码)
  4. Entity Framework 5.0基础系列
  5. 制作.sens数据集跑通bundlefusion
  6. 指定开始_Flink-Kafka指定offset的五种方式
  7. 2011浙大878计算机专业基础扫描版真题
  8. 【java笔记】ArrayList类的使用
  9. C++ ofstream/ifstream读写文件demo
  10. Understanding Bootstrap Of Oracle Database
  11. 生产环境中CentOS5.6下配置LVS(续)
  12. 数电educoder的verilog参考答案
  13. 来听大师讲设计(中)
  14. webUploader大文件断点续传学习心得
  15. 第二模块 商务电子邮件写作技巧
  16. 利用云服务器自动发送天气预报邮件
  17. vue双花括号的使用
  18. 天蝎座2019年4月运势
  19. 绘制花朵Flower
  20. UX最佳实践:提高用户体验影响力的艺术

热门文章

  1. ROS软路由的基本操作
  2. 90 条 Python 程序建议
  3. Raid0、Raid0+1、Raid1、Raid5四者的区别
  4. php mysql多表关联删除_MySQL中多表删除方法
  5. Jmeter工具使用-分布式架构和服务器性能监控解决方案
  6. excel2003出现“向程序发送命令时出现错误”解决方法
  7. git 本地与远程仓库出现代码冲突解决方法
  8. 关于博客园开放API的授权问题解决
  9. 如何为新项目创建新的空分支
  10. 如何获取当前显示的片段?