2019独角兽企业重金招聘Python工程师标准>>>

本教程开始前,假设你已经下载并解压到相应目录下

windows 下启动kafka

第1步:启动服务器
进入到kafka安装目录
1.先启动zookeeper
bin\windows\zookeeper-server-start.bat config/zookeeper.properties

2.再启动kafka
bin\windows\kafka-server-start.bat config/server.properties

第2步:创建一个主题
bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTheme

如果我们运行list topic命令,我们现在可以看到该主题:
bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

第3步:发送一些消息
Kafka带有一个命令行客户端,它将从文件或标准输入中获取输入,并将其作为消息发送到Kafka集群。默认情况下,每行将作为单独的消息发送。运行生产者,然后在控制台中输入几条消息发送到服务器。
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic testTheme
This is a message
Hello World

第4步:启动消费者
bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testTheme --from-beginning

第5步:设置多代理群集
首先我们为每个代理创建一个配置文件

server-1.properties
server-2.properties

现在编辑这些新文件并设置下列属性:
server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1
 
server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2
该broker.id属性是群集中每个节点的唯一且永久的名称。我们必须重写端口和日志目录,因为我们在同一台机器上运行这些端口和日志目录,并且我们希望让所有代理都试图在同一个端口上注册或覆盖彼此的数据。

我们已经有Zookeeper和我们的单节点了,所以我们只需要启动两个新节点:
bin\windows\kafka-server-start.bat config/server-1.properties


bin\windows\kafka-server-start.bat config/server-2.properties

现在创建一个复制因子为3的新主题:
bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

现在我们有一个集群,我们怎么知道哪个经纪人在做什么?要查看运行“描述主题”命令:
bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: my-replicated-topic  Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 1,2,0

这里做一下解释。第一行给出了所有分区的摘要,每个附加行提供了有关一个分区的信息。由于我们只有一个分区,所以只有一行。
“Leader(leader)”是负责给定分区的所有读写操作的节点。每个节点将成为分区随机选择部分的领导者。
“Replicas(副本)”是复制此分区的日志的节点列表,无论他们是领导者还是他们现在都活着。
“Isr”是一组“同步”副本。这是复制品列表的子集,目前活着并被引导到领导者身边。

请注意,在我的示例中,节点1是该主题唯一分区的领导者。

我们可以在我们创建的原始主题上运行相同的命令,以查看它的位置:
bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic testTheme
Topic:testTheme   PartitionCount:1    ReplicationFactor:1 Configs:
    Topic: testTheme  Partition: 0    Leader: 0   Replicas: 0 Isr: 0

所以在这里并不奇怪,原始主题没有副本,并且在服务器0上,它是我们创建群集时唯一的服务器。

让我们发布一些消息给我们的新主题:
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic my-replicated-topic
message 1
message 2

让我们获取这些消息:
bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
message 1
message 2

现在我们来测试容错。由于leader1是领导者,现在我们关闭它
wmic process where "caption = 'java.exe' and commandline like '%server-1.properties%'" get proce
ProcessId
3632
taskkill /pid 3632 /f

leader已切换到其中一个从属节点,并且节点1不再处于同步副本集中:
bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: my-replicated-topic  Partition: 0    Leader: 0   Replicas: 0,1,2 Isr: 0,2

但是即使原先的leadern停掉,这些消息仍然可用于消费:
bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
message 1
message 2

入门教程到这里就结束了,是不是非常简单,Linux上的操作和windows一样只需要

把bin\windows 换成bin/   .bat换成.sh即可。

点击此处直接下载:kafka下载

官网教程:http://kafka.apache.org/quickstart

转载于:https://my.oschina.net/u/3183495/blog/1820887

KafKa基本入门教程相关推荐

  1. Kafka使用入门教程

    转载自http://www.linuxidc.com/Linux/2014-07/104470.htm https://www.cnblogs.com/dhl-2013/p/5678704.html ...

  2. Kafka入门教程与详解

    1 Kafka入门教程 1.1 消息队列(Message Queue) Message Queue消息传送系统提供传送服务.消息传送依赖于大量支持组件,这些组件负责处理连接服务.消息的路由和传送.持久 ...

  3. Kafka入门教程(一)

    转自:https://blog.csdn.net/yuan_xw/article/details/51210954 1 Kafka入门教程 1.1 消息队列(Message Queue) Messag ...

  4. Kafka教程(一)Kafka入门教程

    Kafka教程(一)Kafka入门教程 1 Kafka入门教程 1.1 消息队列(Message Queue) Message Queue消息传送系统提供传送服务.消息传送依赖于大量支持组件,这些组件 ...

  5. Kafka安装启动入门教程

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站:https://www.captainai.net/dongkelun 前言 本文讲如何安装启动kaf ...

  6. Apache Kafka教程--Kafka新手入门

    Apache Kafka教程–Kafka新手入门 Kafka Assistant 是一款 Kafka GUI 管理工具--管理Broker,Topic,Group.查看消费详情.监控服务器状态.支持多 ...

  7. 【Hadoop生态圈】1.Hadoop入门教程及集群环境搭建

    文章目录 1.简介 2.环境准备 3.安装hadoop 3.修改Hadoop配置文件 3.1.hadoop-env.sh配置 3.2.core-site.xml配置 3.3.hdfs-site.xml ...

  8. Kafka 快速入门(安装)

    kafka学习目录:kafka目录 二.Kafka 快速入门 2.1.windows版安装 2.1.1.Quick Start 本次安装学习在Windows操作系统进行.(Linux版本的差别不大,运 ...

  9. Logstash:Logstash 入门教程 (一)

    Logstash 是一个功能强大的工具,可与各种部署集成. 它提供了大量插件,可帮助你解析,丰富,转换和缓冲来自各种来源的数据. 如果你的数据需要 Beats 中没有的其他处理,则需要将 Logsta ...

最新文章

  1. 全网唯一秃头数据集:20 万张人像,网罗各类秃头
  2. 【iOS数据持久化】归档解档(NSKeyedArchiver/ NSKeyedUnarchiver)
  3. 全国计算机二级计基础题第十五套,计算机等级考试:二级VFP机试第15套
  4. 茫茫IT,我们努力,在努力。
  5. Go 内存对齐的那些事儿
  6. NodeJS-001-Nodejs学习文档整理(转-出自http://www.cnblogs.com/xucheng)
  7. 【数据结构(C语言)】数据结构-内部排序
  8. c4d python技巧_还在Bug不断?不妨试试Python中的这2个装__技巧
  9. 计算机硬盘的常用分区工具,常用的几款分区合并工具推荐,合理使用电脑硬盘...
  10. 凸透镜成像实验软件_初中物理凸透镜成像原理虚拟实验平台的设计与开发
  11. android的大转盘抽奖完美实现
  12. 全球国家经纬度坐标数据-MySQL
  13. Word排版过程中多个参考文献一起引用
  14. 使用Mailgun API简化应用程序中的电子邮件
  15. 齐次矩阵转化为欧拉角坐标系_做控制要知道的刚体旋转知识(三)欧拉角
  16. Mybatis插入语句
  17. unity添加背景图片
  18. 数据库MySQL经典面试题之SQL语句
  19. mysql root password_MYSQL安装时解决要输入current root password的方案
  20. 记一次win10升级win11的经历

热门文章

  1. 使用IDE宏遍历代码中的非ASCII字符
  2. 剑指offer 最小的k个数 leetcode 215. Kth Largest Element in an Array
  3. php -l 检查文件是否语法错误
  4. JavaScript之基础-9 JavaScript String(内置对象、String概述、字符串常用操作、模式匹配)...
  5. python 基础 学习 内置函数
  6. .htaccess更改目录下的默认主页
  7. python数据可视化是什么_python3数据可视化是什么?
  8. 如何利用wireshark对TCP消息进行分析
  9. 完美解决html中select的option不能隐藏的问题。
  10. [C语言]函数与调试