kafka命令行操作

【README】 kafka集群

-- kafka集群 3台机器
centos201 192.168.163.201
centos202 192.168.163.202
centos203 192.168.163.203

【1】主题topic 操作命令

序号	命令
1	kafka-topics.sh -- create	新增
2	kafka-topics.sh -- list	查看列表
3	kafka-topics.sh -- delete	删除
4	kafka-topics.sh -- describe	描述

[root@centos201 ~]# kafka-topics.sh --list --zookeeper centos201:2181
[root@centos201 ~]#
[root@centos201 ~]# kafka-topics.sh --create --zookeeper centos201:2181 --topic first --partitions 2 --replication-factor 2
Created topic "first".
[root@centos201 ~]#
[root@centos201 ~]# kafka-topics.sh --list --zookeeper centos201:2181
first-- log
--partitions 2 2个分区
--replication-factor 2 2个副本

1、创建topic后， topic 即数据的分类；其会存储在磁盘，如下：

【2】看下 kafak partition 和 replica的数量问题，做个试验

1）新建topic，该topic的数据分布在2个分区，每个分区2个副本，如下：

[root@centos201 logs]# kafka-topics.sh --create --zookeeper centos201:2181 --topic sichuan --partitions 2 --replication-factor 2
Created topic "sichuan".[root@centos201 logs]# kafka-topics.sh --describe --topic sichuan --zookeeper centos201:2181
Topic:sichuan   PartitionCount:2        ReplicationFactor:2     Configs:Topic: sichuan  Partition: 0    Leader: 2       Replicas: 2,3   Isr: 2,3Topic: sichuan  Partition: 1    Leader: 3       Replicas: 3,1   Isr: 3,1
[root@centos201 logs]#

2）我们查看 centos201， 202， 203 的 kafka数据，如下：

201： sichuan-1

202： sichuan-0

203：sichuan-0 sichuan-1

3）在3台机器，新建topic-beijing，设置4个分区，每个分区2个副本，如下：

[root@centos201 logs]# kafka-topics.sh --create --zookeeper centos201:2181 --topic beijing --partitions 4 --replication-factor 2
Created topic "beijing".
[root@centos201 logs]# [root@centos201 logs]# kafka-topics.sh --describe --topic beijing --zookeeper centos201:2181
Topic:beijing   PartitionCount:4        ReplicationFactor:2     Configs:Topic: beijing  Partition: 0    Leader: 1       Replicas: 1,2   Isr: 1,2Topic: beijing  Partition: 1    Leader: 2       Replicas: 2,3   Isr: 2,3Topic: beijing  Partition: 2    Leader: 3       Replicas: 3,1   Isr: 3,1Topic: beijing  Partition: 3    Leader: 1       Replicas: 1,3   Isr: 1,3
[root@centos201 logs]#

查看topic在磁盘的目录结构

-- 201
[root@centos201 logs]# ll
total 268
drwxr-xr-x. 2 root root   141 Dec 21 00:07 beijing-0
drwxr-xr-x. 2 root root   141 Dec 21 00:07 beijing-2
drwxr-xr-x. 2 root root   141 Dec 21 00:07 beijing-3-- 202
[root@centos202 logs]# ll
total 192
drwxr-xr-x. 2 root root   141 Dec 21 00:06 beijing-0
drwxr-xr-x. 2 root root   141 Dec 21 00:06 beijing-1-- 203
[root@centos203 logs]# ll
total 188
drwxr-xr-x. 2 root root   141 Dec 20 16:07 beijing-1
drwxr-xr-x. 2 root root   141 Dec 20 16:07 beijing-2
drwxr-xr-x. 2 root root   141 Dec 20 16:07 beijing-3

kafka命令行操作相关推荐

【kafka】三、kafka命令行操作
kafka命令行操作 kafka的相关操作命令脚本文件在bin目录下查看所有的topic kafka-topics.sh --zookeeper hll1:2181 --list 或 kafka-t ...
数据仓库 — 07_Kafka的安装与部署（Kafka命令行操作指令、Kafka集群群起脚本、压力测试、节点数量计算、hadoop_zookeeper_flume_kafka群起脚本、默认端口总结）
文章目录 1 Kafka的安装与配置 2 Kafka命令行操作 2.1 查看当前服务器中的所有topic 2.2 创建topic 2.3 删除topic 2.4 发送消息 2.5 消费消息 2.6 查 ...
kafka 命令行操作大全
kafka 命令行操作大全一.集群相关常用命令二.topic相关常用命令 2.1 脚本&参数简介 2.2 举例三.生产者命令行常用操作 3.1 脚本&参数简介 3.2 举例发送消 ...
简单的kafka命令行操作
目录一.主题topic命令行操作 1.查看操作主题的命令参数 2.连接kafka地址,创建名为kaf的主题,指定分区和副本数量 3.查看所有主题的名称 4.查看主题的详细信息 5.修改主题(修改分区 ...
kafka命令行操作大全
最近利用flink使用一个流式SQL处理平台,利用kafka, mysql, hive等组件比较多,命令行突然间需要操作一次记不住命令很麻烦,索性直接整理成笔记. 在 0.9.0.0 之后的 Kafk ...
Kafka 命令行操作
1)查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper backup01:2181 使用命令 bin/kafka-topics.sh --list ...
kafka命令行操作，topic相关命令
查看当前服务器中的所有topic: bin/kafka-topics.sh --zookeeper 主机:2181 --list 创建topic: bin/kafka-topics.sh --zook ...
大数据6_03_Kafka命令行操作
3 Kafka命令行操作总结: # 和topic有关的命令:都使用 kafka-topics-sh --zookeeper hadoop102:2181 + 操作 # 和生产消息有关的:使用brok ...
kafka _命令行操作
kafka _命令行操作 #启动zk zkServer.start #启动kafka kafka-server-start.sh -daemon /opt/kafka/config/server.pr ...

kafka命令行操作

【1】主题topic 操作命令

【2】看下 kafak partition 和 replica的数量问题，做个试验

kafka命令行操作相关推荐

最新文章

热门文章