Kafka学习-入门
在上一篇kafka简介的基础之上,本篇主要介绍如何快速的运行kafka。
在进行如下配置前,首先要启动Zookeeper。
配置单机kafka
1.进入kafka解压目录
2.启动kafka
bin\windows\kafka-server-start config\server.properties
3.创建Topic和查看机器上topic
bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1
bin\windows\kafka-topics --list --zookeeper localhost:2181
4.发送数据
bin\windows\kafka-console-producer --broker-list localhost:9092 --topic topic1
5.开始消费数据
bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic1 --from-beginning
配置kafka集群
1.复制server.properties文件,并修改文件配置
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=E:\kafka_2.11-0.10.2-2\log
2.启动kafka
bin\windows\kafka-server-start config\server-1.properties
bin\windows\kafka-server-start config\server-2.properties
3.创建topic,然后查看集群详细信息
bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic topic-cluster
bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
第一行详细描述topic-cluster这个topic的集群信息。主要包括topic名称、分区数目、复制因子。后面的每一行描述一个分区信息,Partition:0表示该分区编号为0;Leader:0,表示该分区的Leader的broker.id为0;replicas为所在的broker.id;该分区的ISR为0、1、2.
4.向kafka集群发送数据
bin\windows\kafka-console-producer --broker-list localhost:9092 --topic topic-cluster
5.开始消费数据
bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning
6.测试kafka集群失败恢复 杀死leader进程
7.查看集群信息
bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster
此时可以发现,该分区的Leader和ISR都发生了改变.
8.重新消费数据
bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning
下一篇:Kafka学习-生产者和消费者
转载于:https://www.cnblogs.com/wxgblogs/p/6597494.html
Kafka学习-入门相关推荐
- Kafka从入门到精通学习笔记
前言: 新公司消息队列用选用卡夫卡,刚好之前没有用这个消息队列过借此机会学习一波.发现大公司都喜欢用这款消息队列. 消息队列中间件的使用并不复杂,但消息队列的选型一直是个难点.比如: 不同业务场景下该 ...
- 消息中间件 --- Kafka快速入门
消息中间件 --- Kafka 快速入门 消息中间件:https://blog.51cto.com/u_9291927/category33 GitHub: GitHub - scorpiostudi ...
- Kafka 快速入门(安装)
kafka学习目录:kafka目录 二.Kafka 快速入门 2.1.windows版安装 2.1.1.Quick Start 本次安装学习在Windows操作系统进行.(Linux版本的差别不大,运 ...
- Kafka学习记录(三)——Broker
Kafka学习记录(三)--Broker 目录 Kafka学习记录(三)--Broker 对应课程 Zookeeper存储的Kafka信息 Broker总体工作流程 Broker的服役和退役 Kafk ...
- Kafka学习记录(四)——消费者
Kafka学习记录(四)--消费者 目录 Kafka学习记录(四)--消费者 对应课程 Kafka消费者工作流程 消费方式和流程 消费者组原理 消费者组初始化流程 消费者组详细消费流程 重要参数 ka ...
- Apache Kafka教程--Kafka新手入门
Apache Kafka教程–Kafka新手入门 Kafka Assistant 是一款 Kafka GUI 管理工具--管理Broker,Topic,Group.查看消费详情.监控服务器状态.支持多 ...
- [Big Data - Kafka] kafka学习笔记:知识点整理
一.为什么需要消息系统 1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 2.冗余:消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险.许 ...
- 【AI参赛经验】深度学习入门指南:从零开始TinyMind汉字书法识别——by:Link
各位人工智能爱好者,大家好! 由TinyMind发起的#第一届汉字书法识别挑战赛#正在火热进行中,比赛才开始3周,已有数只黑马冲进榜单.目前TOP54全部为90分以上!可谓竞争激烈,高手如林.不是比赛 ...
- 深度学习入门,一文讲解神经网络的构成、训练和算法
小白深度学习入门系列 神经网络的构成.训练和算法 什么是神经网络 人工神经网络(Artificial Neural Network,ANN),简称神经网络(Neural Network,NN),是一种 ...
最新文章
- 八张图彻底了解JDK8 GC调优秘籍!
- 实时全局光照!SVOGI in CryENGINE
- python使用符号 表示单行注释-Python编程规范之注释
- C# 平时碰见的问题【1】
- GCD HDU - 1695
- 白鸦:我印象中的Keso
- 数组常用方法 (es4,es5,es6)
- 产品经理知识体系——职责
- android cts测试(编译源码获取cts测试包),如何通过Android CTS测试—testPackageSignatures...
- 2015-2016 Petrozavodsk Winter Training Camp, Moscow SU Trinity Contest(Gym 100962)
- 盘点世界最牛的90后黑客,厉害到你无法想象的程度
- 作业3 跟踪分析Linux内核的启动过程
- R 利用回归分析与时间序列预测北京市PM2.5
- 服务器账号登录失败怎么回事,远程连接云服务器登录失败是什么原因
- 疫情期间再读三体(4)——杨冬之死与“终极问题”的思考
- Java大数据学习路线图
- jqGrid可编辑模式下 单元格内容不能复制处理
- YOLOv5训练自己的数据集详解
- 机器人有同理心吗?情感AI的可用性有多少?
- 技术解析 | 抛弃骨骼的外骨骼——柔性外骨骼Soft Exosuit