【Kafka】命令行管理topic

Kafka版本: 1.0.1

1. 创建topic

[hadoop@node03 bin]$ kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181
Created topic "test".

参数说明：
partitions：指定topic的分区个数
replication-factor：指定分区副本个数
topic：指定topic名称
zookeeper：指定zk集群地址及端口

2. 列出全部topic

[hadoop@node03 bin]$ kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181
__consumer_offsets
test

3. 查看topic详细信息

[hadoop@node03 bin]$ kafka-topics.sh --describe --topic test --zookeeper node01:2181,node02:2181,node03:2181
Topic:test      PartitionCount:3        ReplicationFactor:2     Configs:Topic: test     Partition: 0    Leader: 2       Replicas: 0,2   Isr: 2,0Topic: test     Partition: 1    Leader: 0       Replicas: 1,0   Isr: 0,1Topic: test     Partition: 2    Leader: 2       Replicas: 2,1   Isr: 2,1

下面对详情信息进行说明:
第一行：
Topic：topic名称
PartitionCount：分区数
ReplicationFactor: 分区副本数
Configs：其他配置信息
第二-四行：
Topic：topic名称
Partition：分区编号（分区编号从0开始）
Leader：分区的Leader副本所在的broker.id (kafka集群的broker.id在server.properties中指定)
lsr：已同步的分区副本所在broker.id

4. 删除topic

[hadoop@node03 bin]$ kafka-topics.sh --delete --topic test --zookeeper node01:2181,node02:2181,node03:2181
Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

5. 向topic中写入数据

[hadoop@node03 bin]$ kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

broker-list：指定broker所在主机及端口

6. 消费topic数据

[hadoop@node02 bin]$ kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic test --from-beginning

bootstrap-server：指定broker所在主机及端口
from-beginning：指定从头开始消费topic

总结

kafka-topics.sh 搭配不同参数，对topic进行创建或删除
kafka-console-producer.sh 用于向topic写入数据
kafka-console-consumer.sh 用于消费topic数据

【Kafka】命令行管理topic相关推荐

【kafka】三、kafka命令行操作
kafka命令行操作 kafka的相关操作命令脚本文件在bin目录下查看所有的topic kafka-topics.sh --zookeeper hll1:2181 --list 或 kafka-t ...
rabbitmq的安装与命令行管理工具rabbitmqadmin的使用
rabbitmq的安装与命令行管理工具rabbitmqadmin的使用 1.rabbitmq的安装 1 RabbiMQ简介 2 RabbiMQ模式 2.1 单一模式 2.2 普通模式 2.3 镜像模式 ...
数据仓库 — 07_Kafka的安装与部署（Kafka命令行操作指令、Kafka集群群起脚本、压力测试、节点数量计算、hadoop_zookeeper_flume_kafka群起脚本、默认端口总结）
文章目录 1 Kafka的安装与配置 2 Kafka命令行操作 2.1 查看当前服务器中的所有topic 2.2 创建topic 2.3 删除topic 2.4 发送消息 2.5 消费消息 2.6 查 ...
kafka命令行操作大全
最近利用flink使用一个流式SQL处理平台,利用kafka, mysql, hive等组件比较多,命令行突然间需要操作一次记不住命令很麻烦,索性直接整理成笔记. 在 0.9.0.0 之后的 Kafk ...
kafka 命令行操作大全
kafka 命令行操作大全一.集群相关常用命令二.topic相关常用命令 2.1 脚本&参数简介 2.2 举例三.生产者命令行常用操作 3.1 脚本&参数简介 3.2 举例发送消 ...
愚蠢的怪胎技巧：通过命令行管理SkyDrive
Originally launched as an April Fools prank by the Microsoft SkyDrive team, SkyCMD turned out to be ...
《三》kubectl命令行管理工具、YAML配置详解
kubectl命令行管理工具 kubectl自动补全功能设置执行: 1.yum install -y bash-completion 2.source <(kubectl completion ...
aws s3 静态网站_如何使用AWS S3，CloudFront和命令行管理静态网站
aws s3 静态网站 by Ben Cheng 通过本诚如何使用AWS S3,CloudFront和命令行管理静态网站 (How to manage your static websites wi ...
曙光服务器bios开启虚拟化支持,中科曙光虚拟化培训教程汇总：3.1 使用针对ESXi的常见LSI 命令行管理工具 v1.0.pdf...
使用针对ESXi的常见LSI命令行管理工具 v1.0 版本发布日期修改人修改原因 1.0 2017.04.11 梁旭首次发布 1 目录一.vib 工具包安装 3 1．安装针对LSI 220 ...

【Kafka】命令行管理topic

1. 创建topic

2. 列出全部topic

3. 查看topic详细信息

4. 删除topic

5. 向topic中写入数据

6. 消费topic数据

总结

【Kafka】命令行管理topic相关推荐

最新文章

热门文章