kafka命令（较全）
快速入门
创建一个主题来存储您的事件
| 创建一个主题topic。如果不指定分区数量和replica的数量，会报错：Missing required argument "[partitions]" |
|---|
$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
| 查看主题topic的情况 |
|---|
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
Topic:quickstart-events PartitionCount:1 ReplicationFactor:1 Configs:Topic: quickstart-events Partition: 0 Leader: 0 Replicas: 0 Isr: 0在主题中写入一些事件
Kafka 客户端通过网络与 Kafka 代理通信以写入（或读取）事件。一旦收到，代理将以持久和容错的方式存储事件，只要您需要——甚至永远。
运行控制台生产者客户端将一些事件写入您的主题。默认情况下，您输入的每一行都会导致将单独的事件写入主题。
写入消息到主题，随时停止生产者客户端Ctrl-C
|
|---|
$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event阅读事件
打开另一个终端会话并运行控制台使用者客户端以读取您刚刚创建的事件：可以随时停止消费者客户端Ctrl-C
|
|---|
$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event操作
添加和删除主题
|
1、replication 备份数量。如果备份因子是3，在无法访问数据之前，最多可能有 2 个服务器出现故障。建议使用 2 或 3 的复制因子，以便可以在不中断数据消耗的情况下透明地退回机器。 2、假如有20个分区，则完整数据集（以及读写负载）将由不超过 20 个服务器（不包括副本）处理。最后，分区计数会影响消费者的最大并行度。这将在概念部分更详细地讨论。 3、每个分片分区日志都放在自己的 Kafka 日志目录下的文件夹中。此类文件夹的名称由主题名称、短划线 (-) 和分区 ID 组成。 在命令行上添加的配置会覆盖服务器对数据应保留时间长度等内容的默认设置。我理解是覆盖brokers的config |
|---|
$ bin/kafka-topics.sh --bootstrap-server broker_host:port --create --topic my_topic_name \--partitions 20 --replication-factor 3 --config x=y修改主题
| 添加分区 |
|---|
> bin/kafka-topics.sh --bootstrap-server broker_host:port --alter --topic my_topic_name \--partitions 40| 添加配置 |
|---|
> bin/kafka-configs.sh --bootstrap-server broker_host:port --entity-type topics --entity-name my_topic_name --alter --add-config x=y| 删除配置 |
|---|
> bin/kafka-configs.sh --bootstrap-server broker_host:port --entity-type topics --entity-name my_topic_name --alter --delete-config x| 删除一个主题。Kafka 目前不支持减少主题的分区数量， |
|---|
> bin/kafka-topics.sh --bootstrap-server broker_host:port --delete --topic my_topic_name| 检查消费者位置 |
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-IDmy-topic 0 2 4 2 consumer-1-029af89c-873c-4751-a720-cefd41a669d6 /127.0.0.1 consumer-1my-topic 1 2 3 1 consumer-1-029af89c-873c-4751-a720-cefd41a669d6 /127.0.0.1 consumer-1my-topic 2 2 3 1 consumer-2-42c1abd4-e3b2-425d-a8bb-e1ea49b29bb2 /127.0.0.1 consumer-2管理消费者组
|
管理消费者组 使用 ConsumerGroupCommand 工具，我们可以列出、描述或删除消费者组。消费者组可以手动删除，也可以在该组的最后提交的偏移量到期时自动删除。手动删除仅在组没有任何活动成员时才有效。例如，要列出所有主题的所有消费者组： |
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --listtest-consumer-group| 查看偏移量 |
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-IDtopic3 0 241019 395308 154289 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2topic2 1 520678 803288 282610 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2topic3 1 241018 398817 157799 consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2topic1 0 854144 855809 1665 consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1topic2 0 460537 803290 342753 consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1topic3 2 243655 398812 155157 consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1 consumer4| --members：此选项提供消费者组中所有活动成员的列表。 |
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group --members
CONSUMER-ID HOST CLIENT-ID #PARTITIONS
consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1 2
consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1 consumer4 1
consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2 3
consumer3-ecea43e4-1f01-479f-8349-f9130b75d8ee /127.0.0.1 consumer3 0| --members --verbose：除了上面“--members”选项报告的信息之外，此选项还提供分配给每个成员的分区。 |
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group --members --verbose
CONSUMER-ID HOST CLIENT-ID #PARTITIONS ASSIGNMENT
consumer1-3fc8d6f1-581a-4472-bdf3-3515b4aee8c1 /127.0.0.1 consumer1 2 topic1(0), topic2(0)
consumer4-117fe4d3-c6c1-4178-8ee9-eb4a3954bee0 /127.0.0.1 consumer4 1 topic3(2)
consumer2-e76ea8c3-5d30-4299-9005-47eb41f3d3c4 /127.0.0.1 consumer2 3 topic2(1), topic3(0,1)
consumer3-ecea43e4-1f01-479f-8349-f9130b75d8ee /127.0.0.1 consumer3 0 -
|
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group --state
COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS
localhost:9092 (0) range Stable 4| 要手动删除一个或多个消费者组，可以使用“--delete”选项： |
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --delete --group my-group --group my-other-group
Deletion of requested consumer groups ('my-group', 'my-other-group') was successful.| 要将消费者组的偏移量重置为最新的偏移量： |
|---|
> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --group consumergroup1 --topic topic1 --to-latest
TOPIC PARTITION NEW-OFFSET
topic1 0 0kafka命令（较全）相关推荐
- shell介绍，命令历史，命令补全和别名 ，通配符， 输入输出重定向
2019独角兽企业重金招聘Python工程师标准>>> shell介绍 shell是一个命令解释器,提供用户和机器之间的交互: 支持特定语法,比如逻辑判断.循环: 每个用户都可以有自 ...
- 8.1shell介绍 8.2命令历史 8.3命令补全和别名 8.4通配符 8.5输入输出重定向
8.1 shell介绍 . 查找一下有没有这2个安装文件 8.2 命令历史 环璄1000,所以只能存1000条记录 ' 有时候查到比1000多了,那是因为输入的命令还没有写进这个文件,只存在内存中 h ...
- 8.1-8.5 shell介绍，命令历史，命令补全和别名，通配符，输入输出重定向
8.1 shell介绍 8.2 命令历史 8.3 命令补全和别名 8.4 通配符 8.5 输入输出重定向 8.1 shell介绍 Linux Shell基础 介绍shell的特性,用法. shell是 ...
- 工作中常用的kafka命令
Kafka常用命令 以下是kafka常用命令行总结: 1.查看topic的详细信息 /data/bin/kafka/bin//kafka-topics.sh --zookeeper 172.16.2 ...
- shell介绍 命令历史 命令补全和别名 通配符 输入输出重定向
8.1 shell介绍 shell 是一个命令解释器,提供用户和机器之间的交互 支持特定语法,比如逻辑判断,循环 每个用户都可以有自己特定的shell CentOS7默认shell 为bash(Bou ...
- linux bash gt,linux之bash的基础特性(一)--gt;命令历史(history命令),命令补全,路径补全...
关于命令历史-->history 1.与之相关的环境变量:HISTSIZE,HISTFILE-->~/.bash_history,HISTFILESIZE,HISTCONTROL,HIST ...
- CentOS Bash 命令补全增强软件包 bash-completion
引言 之前安装的 CentOS 7 是最小化安装,在使用 systemctl 命令进行服务的管理时,经常手动输入相关服务名. 如果对一个服务名称不熟悉,这样可以迫使我们记住它,但如果对一个服务名已经很 ...
- windos命令小全
win&dos命令小全 net use \\ip\ipc$ " " /user:" " 建立IPC空链接 net use \\ip\ipc$ " ...
- Linux下命令补全工具bash-completion
Linux下超强的命令补全工具bash-completion 编写 Bash 补全脚本 参考URL: https://kodango.com/bash-competion-programming 在使 ...
- docker 命令补全
docker 命令补全 补全: 安装docker自带包: source /usr/share/bash-completion/completions/docker 缺少下面的包,TAB会报错 yum ...
最新文章
- linux mint（Ubuntu、Debian） 18修改环境变量
- uniapp 强制刷新DOM/强制更新指令：this.$forceUpdate()；
- rest资源设计_REST资源何时应获得其自己的地址？
- 栈大小和内存分部问题
- 聊一聊 java8 中的 Optional
- python基础——可变长参数
- 深度学习基础 | 超详细逐步图解 Transformer
- 【数据结构】分治代码模板
- html网站 放新闻 文件夹名字 是什么,服务器上传网页文件时应注意哪几点？
- 写java代码的软件_新手编写java代码使用什么软件
- STM32MP157实现串口接收数据上云-云数据库存储多设备数据界面显示实现
- matlab小波分解图像,MATLAB小波图像分解
- 统计bed文件下的reads数目和GC含量
- 1.14阅读论文：A Composite Failure Precursor for Condition Monitoring...Shuai Zhao等
- Python之路第七天，基础(9)-面向对象(上)
- 西门子PLC封装TCP通讯块和调试助手进行TCP仿真测试
- 孙正义从阿里巴巴董事会辞职，原因是什么？
- VS2010版本介绍(转自：http://www.cnblogs.com/Leo_wl/archive/2010/06/02/1750035.html)
- oracle索引 oracle索引结构 oracle索引使用 B*Tree索引
- .cast( )函数的使用