1.快速开始

本教程假设你从零开始,没有已存在的Kafka或zk数据

1.1 下载代码

下载 0.10.0.0 release版本,并解压

> tar -xzf kafka_2.11-0.10.0.0.tgz
> cd kafka_2.11-0.10.0.0

1.2启动服务端

Kafka需要zookeeper,如果没有,需要先启动zk。你可以使用kafka中打包的脚本启动一个简易的单节点的zk节点。

> bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)

然后再启动kafka服务器

> bin/kafka-server-start.sh config/server.properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)

1.3创建一个主题

创建一个名为"test"的单分片且只有一个副本的主题

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

现在,你可以用以下命令查询主题列表

> bin/kafka-topics.sh --list --zookeeper localhost:2181
test

或者,除了手动创建主题外,也可以配置当发布到一个不存在的主题时自动创建该主题

1.4生产消息

kafka自带命令行客户端,可以从文件或标准输入中获取数据并作为消息输出到kafka集群。默认每一行作为一条单独消息。运行producer,在控制台键入一些消息并发送到服务端。

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

1.5消费消息

kafka也有命令行版本的消费者可以将消息下载到标准输出。

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message

如果你在不同终端支行以上命令行,你将可以看到生产者终端键入消息,消费者终端展示消息。
以上所有的命令行工具都有附加选项,不带参数运行以上命令将展示详细帮助信息。

1.6: 建立多节点集群

到目前为止,我们已经在单节点运行,但这比较无趣。对kafka来说,单节点代理是仅有一个节点的集群。因此启动多个代理节点也没有太多需要变化的。但为了感受一下,我们展示集群到三个节点(所有的都在本地机器)
首先,为每一个代理节点建立一个配置文件:

> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties

然后编辑文件设置以下属性:

config/server-1.properties:broker.id=1listeners=PLAINTEXT://:9093log.dir=/tmp/kafka-logs-1config/server-2.properties:broker.id=2listeners=PLAINTEXT://:9094log.dir=/tmp/kafka-logs-2

属性broker.id是每个节点在集群中唯一并永久的名称。由于我们在同一机器上运行,因此需要重写端口和日志目录,以保证各节点使用不同的端口且不发现数据覆盖。
我们已经启动了zk和单节点kafka,因此我们仅需要启动二个新的节点:

> bin/kafka-server-start.sh config/server-1.properties &
> bin/kafka-server-start.sh config/server-2.properties &

转载于:https://www.cnblogs.com/vipmint/p/5974091.html

Kafka 0.10.0文档翻译二相关推荐

  1. kafka 0.10.0.0 版本

    kafka 0.10.0.0 版本 一.安装kafka 1)下载路径:http://apache.fayea.com/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz 2) ...

  2. Kafka: Producer (0.10.0.0)

    Producer API入门 ProducerRecord 说明 异步发送流程 2.1 用户线程调用send将record压缩到BufferPool中2.2 发送调度 Producer设计说明 Pro ...

  3. Kafka学习整理三(borker(0.9.0及0.10.0)配置)

    Kafka日志本身是由多个日志段组成(log segment).一个日志是一个FileMessageSet,它包含了日志数据以及OffsetIndex对象,该对象使用位移来读取日志数据 * borke ...

  4. kafka 0.10.0 producer java代码实现

    首先导入包 将kafka目录下的libs中的jar包导入 用maven建立 <dependency><groupId>org.apache.kafka</groupId& ...

  5. kafka中文文档(0.10.0)

    kafka中文文档(0.10.0) 作者:链上研发-老杨叔叔 时间:2016-07-22 版本:Apache Kafka 0.10.0 (2016年5月底发布) .目录 kafka中文文档0100 目 ...

  6. kafka0.9 java commit_kafka0.9.0及0.10.0配置属性

    名称 说明 类型 默认值 有效值 重要性 zookeeper.connect zookeeper集群的地址, 可以是多个, 多个之间用逗号分割 string localhost: 2181 ip1 : ...

  7. 小米5s+刷+android+8.0,【小米5S标准版 解账户锁线刷包】MIUI V8.0.10.0 刷机 工具+驱动+教程!紫火提供版...

    [小米5S标准全网 解账户锁线刷包]含刷机工具+驱动+教程!机客盟提供版,基于官方MIUI V8.0.10.0.MAGCNDH适用于2015711版纯净,稳定,流畅,省电版 刷机包里面包含 刷机工具 ...

  8. 假设用于通信的电文由字符集{a,b,c,d,e,f,g}中的字母构成。 它们在电文中出现的频度分别为{0.31,0.16,0.10,0.08,0.11,0.20,0.04}。【MOOC答案】

    目   录 1.题目 2.答案and详细题解过程 1)为这7个字母设计哈夫曼编码: 1.1.答案 1.2.详细题解过程 2)为这7个字母设计等长编码,至少需要几位二进制数?[3位] 2.1.答案 2. ...

  9. 红米8A的root步骤(MIUI 11.0.10.0 稳定版 安卓9)

    手机root记录的第四篇. 红米8A便宜又耐跎,很适合作为测试机. 具体的操作步骤如下: 1.当然是BL解锁,这个不赘述了. 2.使用w大(wzsx150)对应安卓9的"TWRP-3.3.1 ...

最新文章

  1. php smarty模板引擎 性能,smarty性能低?直接使用php模板引擎吧
  2. C#中获取程序当前路径的集中方法
  3. 求三角形最大面积(DP)
  4. 【Java 注解】自定义注解 ( 注解属性定义与赋值 )
  5. 网易云轻舟微服务深度解读:基于开源,强于开源
  6. 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
  7. 2015 跨年博文总结
  8. 在TextView中实时显示数据
  9. 【Linux】linux下查看目录所在分区
  10. 如何使用iMazing将iPhone的数据迁移到iPad
  11. 最常用标准库函数 (转)
  12. libcurl的封装,支持同步异步请求,支持多线程下载,支持https
  13. wifi ap6212驱动移植及调试分析技术笔记
  14. 彻底搞懂Android文件存储---内部存储,外部存储以及各种存储路径解惑
  15. AutoCAD_FILEDIA
  16. 苹果CMS V10后台登录验证码错误解决方法
  17. ifconfig eth0网卡配置
  18. ssm+vue企业员工考勤请假网上办公OA自动化系统java
  19. 优化静态html页面速度的步骤好人方法,对网站速度优化的10个简单步骤
  20. 互联网快讯:百度发布青春版“Wonder”App,;极米2021双十二圆满收官;华为笔记本新品将发布

热门文章

  1. hdu2973 YAPTCHA
  2. LBP(local binary pattern)
  3. OpenCV中的数据结构
  4. matchShapes函数
  5. c++语言生成一个随机数,C/C++怎么生成“真正的”随机数
  6. 【多进程并行版本】爬取链家二手房前100页标签,进行统计
  7. 指针学习笔记(更新中)
  8. 用python实现矩阵乘法
  9. Ubuntu - 安装 jdk 、配置 Java 环境变量、编辑 Test.java 文件并输出 Hello World!
  10. Django L6 编写你的第一个Django应用