【kafka】三、kafka命令行操作
kafka命令行操作
kafka的相关操作命令脚本文件在bin
目录下
查看所有的topic
kafka-topics.sh --zookeeper hll1:2181 --list
或
kafka-topics.sh --zookeeper 192.168.171.132:2181 --list
kafka-topics.sh
:topic执行脚本
--zookeeper hll1:2181
:需要的zookeeper,hll1为安装zookeeper集群服务器的主机名,2181为端口,也可以直接使用ip:port的方式
--list
:列出所有topic
创建topic
kafka-topics.sh --zookeeper hll2:2181 --create --partitions 2 --replication-factor 2 --topic demo1
--create
:创建topic
--partitions
:创建分区,后面数字代表创建几个分区
--replication-factor
:创建副本,后面数字代表创建几个副本
--topic demo1
:定义topic名为demo1
比如,当前命令创建2个分区,2个副本,按照之前的安装配置(kafka集群有三个服务),可以在/opt/kafka/logs
目录下查看:
第一个kafka:生成了两个目录demo1-0
,demo1-1
解释下:demo1就是我们创建的topic名称,后面的-数字就是代表分区,-0、-1是 --partitions 2 表示创建了2个分区
第二个kafka:
第三个kafka:
结合kafka集群来看,总共可以看到两个demo1-0,两个demo1-1,是因为我们刚刚的命令创建的是 --replication factor 2 表示创建2个副本
同样可以创建2个分区,3个副本
kafka-topics.sh --zookeeper hll2:2181 --create --partitions 2 --replication-factor 3 --topic demo2
查看记录:生成demo2两个分区,在三个kafka另外两个kafka集群都有副本
注意:创建的副本数不能超过kafka集群可用的broker数量,不能会报错
删除topic
kafka-topics.sh --zookeeper hll2:2181 --delete --topic demo3
--delete
:删除topic
注意:需要 server.properties 中设置 delete.topic.enable=true
否则只是标记删除。
执行完删除命令后,再去目录下查看,demo3
的topic已经不存在了
生产消息
kafka-console-producer.sh --broker-list hll1:9092 --topic first
窗口进入到阻塞状态,等待输入消息
kafka-console-producer.sh
:生产消息脚本
--broker-list
:指定生产者,这里的指定的kafka生产者为,hll1:9092
--topic first
:往first主题生产消息
消费消息
kafka-console-consumer.sh --zookeeper hll2:2181 --topic first --from-beginning
这里提示需要使用bootstrap-server
代替zookeeper
,因为这里使用的kafka的版本比较旧,0.8之后版本zookeeper
将会被移除了,
可以使用bootstrap-server
方式消费:
kafka-console-consumer.sh --bootstrap-server hll1:9092 --topic first --from-beginning
kafka-console-consumer.sh
:消费者脚本
--zookeeper hll2:2181
:zk集群服务
--topic first
:消费的主题
--from-beginning
:会把主题中以往所有的数据都读取出来
--bootstrap-server
:0.8版本以后的kafka,不再 通过zk去管理数据消费,使用broker统一管理
hll1:9092
:kafka服务,可以为kafka集群中的任意一台
查看topic
kafka-topics.sh --zookeeper hll2:2181 --describe --topic first
--describe
:查看详情
查询结果解释下:
第一行为结果总览:
Topic:first 为主题名称,PartitionCount:2说明有2个分区,ReplicationFactor:2说明有2个副本
后面的两行,每一行都是一个分区的信息,因为有2个分区,所以有2行,从结果中的第二、三行的Partition数据就可以看出来。
Leader 是在给出的所有partitons中负责读写的节点,每个节点都有可能成为leader。
Replicas 显示副本所存储节点的节点列表,不管该节点是否是leader或者是否存活。
Isr 副本都已同步的的节点集合,这个集合中的所有节点都是存活状态,并且跟leader同步。
修改分区数
kafka-topics.sh --zookeeper hll2:2181 --alter --topic first --partitions 3
执行成功后,再去查看主题first的分区,会看到有新的分区出现。
注意:kafka只能新增分区,不能减少分区
【kafka】三、kafka命令行操作相关推荐
- kafka 命令行操作大全
kafka 命令行操作大全 一.集群相关常用命令 二.topic相关常用命令 2.1 脚本&参数简介 2.2 举例 三.生产者命令行常用操作 3.1 脚本&参数简介 3.2 举例发送消 ...
- kafka _命令行操作
kafka _命令行操作 #启动zk zkServer.start #启动kafka kafka-server-start.sh -daemon /opt/kafka/config/server.pr ...
- Kafka 生产者、消费者命令行操作
Kafka 生产者.消费者命令行操作 1.查看操作生产者命令参数 bin/kafka-console-producer.sh 参数 --bootstrap-server <String: ser ...
- 简单的kafka命令行操作
目录 一.主题topic命令行操作 1.查看操作主题的命令参数 2.连接kafka地址,创建名为kaf的主题,指定分区和副本数量 3.查看所有主题的名称 4.查看主题的详细信息 5.修改主题(修改分区 ...
- 数据仓库 — 07_Kafka的安装与部署(Kafka命令行操作指令、Kafka集群群起脚本、压力测试、节点数量计算、hadoop_zookeeper_flume_kafka群起脚本、默认端口总结)
文章目录 1 Kafka的安装与配置 2 Kafka命令行操作 2.1 查看当前服务器中的所有topic 2.2 创建topic 2.3 删除topic 2.4 发送消息 2.5 消费消息 2.6 查 ...
- kafka 基础概念、命令行操作(查看所有topic、创建topic、删除topic、查看某个Topic的详情、修改分区数、发送消息、消费消息、 查看消费者组 、更新消费者的偏移位置)
文章目录 前言 1. 基础概念 Broker Producer Consumer Consumer Group Topic Partition Replica 2. 命令行操作 2.1 查看所有top ...
- 大数据6_03_Kafka命令行操作
3 Kafka命令行操作 总结: # 和topic有关的命令:都使用 kafka-topics-sh --zookeeper hadoop102:2181 + 操作 # 和生产消息有关的:使用brok ...
- 命令行操作svn和git和git
前几天在写代码的时候电脑突然坏掉,老大交代的任务没完成,非常痛恨自己用svn或者git保存代码,相信很多程序员遇到过,硬盘坏掉,存在硬盘中的代码丢失,无法找回的问题,svn和git可谓程序员界的福音, ...
- Git 简介和命令行操作
Git 简介 官网地址:https://git-scm.com/ 3Git 的优势 大部分操作在本地完成,不需要联网 完整性保证 尽可能添加数据而不是删除或修改数据 分支操作非常快捷流 ...
最新文章
- 安测云验证有CTA问题
- 拒绝干扰 解决Wi-Fi的最大问题《转》
- ssh-add ssh-agent使用
- php定界符号,PHP定界符的使用及注意事项
- 带你上手全新版本的Webpack 5
- js 拉勾网效果_python爬取拉勾网职位数据
- sublime怎么运行go_go语言环境搭建+sublime text3(windows环境下)
- 读懂 x86 架构 CPU 虚拟化,看这文就够了 | 赠书
- 【Masm】使用教程
- RPA - 前置机虚拟化U盾识别方案
- IIS无法启动:存储空间不足解决办法
- 最大值减最小值等于区间长度_一文帮你弄清楚电压和电流的有效值、瞬时值、平均值、最大值及其关系...
- 常见文件编码 - 多字节编码与Unicode编码区别
- 如何下载微信公众号视频
- 锅圈食汇:火锅食材超市先行者 正离“火锅“越来越远
- java惰性计算原理_利用 Lambda 表达式实现 Java 中的惰性求值
- 【转载】让盐和味精告诉你,「变量」是什么 | 亲子课堂 第 4 课
- 【测评】西圣Ava蓝牙耳机,一款轻便且极具性价比的真无线蓝牙耳机
- Python机器学习个人总结
- U盘文件丢失怎么办?你需要这个数据恢复工具!
热门文章
- webgate单点登录原理
- 机器学习实战-python3勘误
- ios怎么引入masonry_ios masonry 怎样设置边距自适应
- 大学生查重网站有哪些
- The requested URL was not found on the server. If you entered the URL manually please check your spe
- jpa 报错:No EntityManager with actual transaction available for current thread - cannot reliably proce
- 什么是 JWT -- JSON WEB TOKEN
- 秋色园QBlog技术原理解析:性能优化篇:access的并发极限及超级分库分散并发方案(十六)...
- Xcode_修改默认名称和公司
- Voting mechanism