本地windows下新建kafka生产消费数据
Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper
1.安装zookeeper
1.1 下载安装文件: http://mirror.bit.edu.cn/apache/zookeeper/
1.2 解压文件(本文解压到 D:\zookeeper-3.4.8)
1.3 打开D:\zookeeper-3.4.8\conf,把zoo_sample.cfg重命名成zoo.cfg
1.4 从文本编辑器里打开zoo.cfg
1.5 修改dataDir和dataLogDir保存路径
dataDir=D:\logs\zookeeper
dataLogDir=D:\data\logs\zookeeper
1.6 添加如下系统变量:ZOOKEEPER_HOME: D:\zookeeper-3.4.8
Path: 在现有的值后面添加 ;%ZOOKEEPER_HOME%\bin;
2.cmd运行zookeeper
运行Zookeeper: 打开cmd然后执行zkserver
命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口。
截图好像报错了·~~
2.安装并运行Kafka
2.1 下载安装文件: http://kafka.apache.org/downloads.html
2.2 解压文件(本文解压到 D:\kafka_2.11-0.10.2.0)
2.3 打开D:\kafka_2.11-0.10.2.0\config\ server.properties
2.4 把 log.dirs的值改成 log.dirs=D:\data\logs\kafka
2.5 D:\kafka_2.11-0.10.2.0\bin文件夹下的.sh命令脚本是在shell下运行的,此文件夹下还有个 windows文件夹,里面是windows下运行的.bat命令脚本
2.6 在D:\kafka_2.11-0.10.2.0文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口
2.7 输入并执行一下命令以打开kafka:(根据实际情况可以进行适当的路径修改)
.\bin\windows\kafka-server-start.bat .\config\server.properties
3.创建topics
3.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1029
4.打开一个Producer
4.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口
kafka-console-producer.bat --broker-list localhost:9092 --topic test1029
5.打开一个Consumer
5.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口
关于最后消费者启动的方法,目前已经过时,0.90版本之后启动消费者的方法:,kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test0811 --from-beginning
注意:以上打开的窗口不要关闭
然后就可以在Producer控制台窗口输入消息了。在消息输入过后,很快Consumer窗口就会显示出Producer发送的消息
转载于:https://www.cnblogs.com/yang-ye/p/9873041.html
本地windows下新建kafka生产消费数据相关推荐
- 装了linux后windows被破坏了,windows下可以破坏linux的数据么-
windows下可以破坏linux的数据么- (2011-08-28 01:58:11) 标签: 杂谈 windows下可以破坏linux的数据么?单机装了2个系统,一直都很好,后来发现xp不能进入了 ...
- #数据库--第1章 Windows 下的数据库导入 TPCH 数据(以 SQL Server 作为示例,MySQL同样适用)
#数据库--第1章 Windows 下的数据库导入 TPCH 数据(以 SQL Server 作为示例,MySQL同样适用 一.TPCH 简介 二.TPCH 文件 三.生成 TPCH 数据 四.导入 ...
- kafka生产消费原理笔记
一.什么是kafka Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性 ...
- windows下用elasticdump导入json数据到Elasticsearch中
一.前言 ES的备份,导入和导出相对而言比较麻烦.用logstash的话,经常会出现很多错误,而且不是很方便.用bulk也是一样的,对于咱们的json文件的结构,一些字段名都有要求,也不方便.后来和大 ...
- windows下使用kafka
1. 到官网下载想要的版本. 2. 启动服务 2.1 解压后打开目录kafka_2.12-2.1.0\bin\windows 2.2 打开kafka_2.12-2.1.0\config修改配置文件 将 ...
- Kafka 命令之查看topic生产消费数据查看组的消费信息
1.创建 topic: [root@node1 bin]# ./kafka-topics.sh --zookeeper node2:2181,node3:2181,node3:2181 --creat ...
- Apache Kafka-Spring Kafka生产消费@KafkaListener源码解析
文章目录 概述 Spring-kafka生产者源码流程 Spring-kafka消费者源码流程(`@EnableKafka`和`@KafkaListener` ) Flow KafkaListener ...
- Windows下通过FTP自动备份数据到服务器并删除指定天数前的备份
有时候我们想将本地的备份文件放到别的服务器上,实现异地备份,更安全,那么就可以参考下面的方法 说明: 1.要备份的文件在D盘根目录下面,以时间命名,(一般我们通过护卫神的好备份软件实现备份)例如 D: ...
- kettle kafka mysql_kettle使用kafka组件消费数据,保存到资源库无法打开问题
使用kafka消费者组件消费kafka数据时,填写好相关参数配置 在保存的数据库资源库后无法打开如下图: 出现了如下的错误: java.lang.IllegalArgumentException: A ...
最新文章
- JAVA基础——Switch条件语句
- python应用中调用spark_在python中使用pyspark读写Hive数据操作
- 二叉平衡树算法c语言,算法9-9~9-12:平衡二叉树的基本操作 (C语言代码)
- Entity Framework 5.0基础系列
- 制作.sens数据集跑通bundlefusion
- 指定开始_Flink-Kafka指定offset的五种方式
- 2011浙大878计算机专业基础扫描版真题
- 【java笔记】ArrayList类的使用
- C++ ofstream/ifstream读写文件demo
- Understanding Bootstrap Of Oracle Database
- 生产环境中CentOS5.6下配置LVS(续)
- 数电educoder的verilog参考答案
- 来听大师讲设计(中)
- webUploader大文件断点续传学习心得
- 第二模块 商务电子邮件写作技巧
- 利用云服务器自动发送天气预报邮件
- vue双花括号的使用
- 天蝎座2019年4月运势
- 绘制花朵Flower
- UX最佳实践:提高用户体验影响力的艺术