1.创建topic

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic
Created topic testTopic.

2.查看topic

2.1查看所有topic

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-topics.sh --list --zookeeper localhost:2181
kafkasource
testTopic
zstream_test_topic

2.2查看当前topic

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic testTopic
Topic: testTopic PartitionCount: 1 ReplicationFactor: 1 Configs:
Topic: testTopic Partition: 0 Leader: 0 Replicas: 0 Isr: 0

3.删除当前topic

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic testTopic
Topic testTopic is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

4.生产者与消费者使用

4.1生产者启动

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-console-producer.sh --broker-list 172.21.72.166:9092 --topic testTopic
>我是一只小小小鸟，怎么也飞不高
[2022-09-10 17:17:08,629] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 3 : {testTopic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
>

4.2消费者启动

4.2.1从头开始消费

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-console-consumer.sh --bootstrap-server 172.21.72.166:9092 --topic testTopic --from-beginning
我是一只小小小鸟，怎么也飞不高

注:旧版本kafka启动消费参数为zookeeper
./bin/kafka-console-consumer.sh --zookeeper 172.21.72.166:2181 --topic testTopic --from-beginning

4.2.2从最当前最新数据开始消费

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-console-consumer.sh --bootstrap-server 172.21.72.166:9092 --topic testTopic
吹烟袅袅升起，隔江千万里

4.3查看kafak生产者最大位移偏移量

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.21.72.166:9092 --topic testTopic --time -1
testTopic:0:8

4.4根据用户组查询各个主题数据消费情况

[doda@host166 kafka_2.11-2.4.1]$ ./bin/kafka-consumer-groups.sh --bootstrap-server 172.21.72.166:9092 --group bigdata --describe

GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
bigdata user_topic 0 100 200 100 - - -
bigdata test_topic 0 400 400 0 - - -

Kafka常用shell脚本命令相关推荐

几个常用shell脚本命令
1,每一行的字段个数不同,要求结果中只取出每行的最后一个字段 #cat file aaa;bbb;ccc a;dd;ddd;AAA dd;BB #awk -F';' '{print $NF}' fil ...
大数据常用shell脚本之fl脚本
一.前置准备 CentOS7.jdk1.8.zookeeper-3.5.7.kafka-2.4.1.flume-1.9.0 想要完成本期视频中所有操作,需要以下准备: Flume安装及基本使用-视频教 ...
Linux常用Shell脚本珍藏
我们在运维中,尤其是linux运维,都知道脚本的重要性,脚本会让我们的运维事半功倍,所以学会写脚本是我们每个linux运维必须学会的一门功课,这里收藏linux运维常用的脚本.如何学好脚本,最关键的 ...
linux经典脚本实例,Linux常用Shell脚本珍藏
[实例简介] Linux常用Shell脚本珍藏 (2)编写任务定时器: C代码☆ 1. echo 00 1 *k */bin/sh /usr/bin/fileback">:/root/ ...
Linux 常用Shell脚本，后端开发必备
Linux 常用Shell脚本,后端开发必备文章目录 Linux 常用Shell脚本,后端开发必备 1 用户猜数字 2 查看有多少远程的 IP 在连接本机 3 helloworld 4 打印 tom ...
常用shell脚本集合
常用shell脚本集合 !/bin/sh # 在脚本第一行脚本头 # sh为当前系统默认shell,可指定为bash等shell sh -x # 执行过程 sh -n # 检查语法 (a=bbk) # ...
12_linux笔记-shell脚本命令
12_linux笔记-shell脚本命令回顾1 输入输出重定向输入输出知识点2 2个特殊文件示例:/dev/zero:用来生成指定大小的文件,生成一堆0 示例知识点3 here docum ...
大数据常用shell脚本之kf脚本
一.前置准备 CentOS7.jdk1.8.zookeeper-3.5.7.kafka-2.4.1 想要完成本期视频中所有操作,需要以下准备: Kafka集群环境搭建-视频教程大数据常用shell脚 ...
监控Oracle数据库的常用shell脚本
文章介绍了DBA每天在监控Oracle数据库方面的职责,讲述了如何通过shell脚本来完成这些重复的监控工作.本文首先回顾了一些DBA常用的Unix命令,以及解释了如何通过Unix Cron来定时执行 ...

Kafka常用shell脚本命令