KAFKA 最新版 Shell API单机生产与消费

文章目录

一、KAFKA 启动与监控
二、KAFKA 主题创建于查看生产与消费
- 2.1. 查看主题列表
- 2.2. 创建主题
- 2.3. 查看主题信息
- 2.4. 主题信息分析
三、KAFKA 主题创建于查看生产与消费
- 3.1. 客户端监听消息
- 3.2. 生产消息
- 3.3. 从头监听消息

一、KAFKA 启动与监控

# 后台启动kafka
kafka-server-start.sh -daemon /app/kafka_2.12-2.8.0/config/server.properties# 监控kafka
ps -aux |grep kafka# 日志存放目录
cd /var/gblfy/kafka/kafka-logs[root@bogon kafka-logs]# pwd
/var/gblfy/kafka/kafka-logs
[root@bogon kafka-logs]# ll
总用量 4
-rw-r--r--. 1 root root  0 9月  15 13:25 cleaner-offset-checkpoint
-rw-r--r--. 1 root root  0 9月  15 13:25 log-start-offset-checkpoint
-rw-r--r--. 1 root root 54 9月  15 13:25 meta.properties
-rw-r--r--. 1 root root  0 9月  15 13:25 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root  0 9月  15 13:25 replication-offset-checkpoint

二、KAFKA 主题创建于查看生产与消费

2.1. 查看主题列表

kafka-topics.sh --zookeeper localhost:2181/mykafka --list

2.2. 创建主题

创建主题指定主题名称、该主题有几个分区，每个分区有几个副本

副本就是为了提高高可用，主从切换，要求一个分区的不同副本必须在不同的服务器上，否则没有意义

# 创建一个主题名称为topic_1  该主题分区1个分区 ，该分区有1个副本
kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_1 --partitions 1 --replication-factor 1

# 创建一个主题名称为topic_2  分区个数为5个 ，每个分区各有1个副本
kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_2 --partitions 5 --replication-factor 1

2.3. 查看主题信息

# 查看主体名称为topic_1的具体信息
kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1# 查看主体名称为topic_2的具体信息
kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2

2.4. 主题信息分析

[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1
Topic:topic_1   PartitionCount:1        ReplicationFactor:1     Configs:Topic: topic_1  Partition: 0    Leader: 0       Replicas: 0     Isr: 0
当前topic_1主题，有1个分区，0号分区，这个分区在0号服务器上，一个副本，在0号服务器上

[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2
Topic:topic_2   PartitionCount:5        ReplicationFactor:1     Configs:Topic: topic_2  Partition: 0    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 1    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 2    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 3    Leader: 0       Replicas: 0     Isr: 0Topic: topic_2  Partition: 4    Leader: 0       Replicas: 0     Isr: 0
# 主题topic_2，该主题有5个分区，分别是0/1/2/3/4/5号分区，每个分区各有一个副本，每个分区都在0号服务器上

三、KAFKA 主题创建于查看生产与消费

3.1. 客户端监听消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1

3.2. 生产消息

#
kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1# 在实时窗口中，生产消息，消费者就会实时监听消息

如下图所示：

3.3. 从头监听消息

把消费者关闭，重新启动，默认消费者就会之监听在此时间之后的消息，之前的消息不能监听，那如果有需求需要监听以前的所有消息，那该如何处理呢？

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning

KAFKA 最新版 Shell API单机生产与消费相关推荐

kafka zookeeper java_简单搭建kafka + zookeeper，附简单Java生产和消费客户端
首先说明一下这是一篇入门实战操作文章,本人亦是刚刚开始接触kafka,看了网上很多很多的文章,觉得自己也应当在搭建平台的过程中留下一些痕迹,总结一下遇到的问题和解决方法. 这篇文章主要是讲从零开始把服 ...
kafka java_Kafka 使用Java实现数据的生产和消费demo
前言在上一篇中讲述如何搭建kafka集群,本篇则讲述如何简单的使用 kafka .不过在使用kafka的时候,还是应该简单的了解下kafka. Kafka的介绍 Kafka是一种高吞吐量的分布式发布 ...
单机搭建kafka集群本地_单机快速搭建多节点kafka集群
有时候为了更好地了解kafka集群的运行机制,需要自己搭建kafka集群.本文的目的就是让大家在单机上快速搭建kafka集群(仅作为单机测试使用). 环境及工具版本 mac OS 10.15.5 ka ...
Shell编程—企业生产案例
Linux系统Shell编程-企业生产案例(一) 企业数据库可以说是重点保护对象啊,没有之一,数据在当今企业里就是生命线,因此今天就来说一说,如何通过shell脚本来检查或监控MYSQL数据库服务是否 ...
spring整合kafka项目生产和消费测试结果记录（一）
使用spring+springMVC+mybatis+kafka做了两个web项目,一个是生产者,一个是消费者. 通过JMeter测试工具模拟100个用户并发访问生产者项目,发送json数据给生产者的 ...
Kafka实现消息生产和消费
文章目录一.Kafka测试消息生产与消费二.Java程序进行Kafka收发消息 1.消息生产者 2.消息消费者一.Kafka测试消息生产与消费 # 首先创建一个主题 [root@192 kafk ...
获取props里面的数据_Kafka 使用Java实现数据的生产和消费demo
Kafka的介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. Kafka 有如下特性: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB ...
大数据项目之_15_电信客服分析平台_0102_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)
大数据项目之_15_电信客服分析平台_01&02 一.项目背景二.项目架构三.项目实现 3.1.数据生产 3.1.1.数据结构 3.1.2.编写代码 3.1.3.打包测试 3.2.数据采集 ...
Kafka2.12安装与配置/生产与消费
Kafka2.12安装与配置/生产与消费一.Kafka安装与配置 1.1 Java环境为前提 jdk下载地址链接:jdk1.8 提取码:9plz zookeeper下载地址链接:zookeeper3 ...

KAFKA 最新版 Shell API单机生产与消费

文章目录

一、KAFKA 启动与监控

二、KAFKA 主题创建于查看生产与消费

2.1. 查看主题列表

2.2. 创建主题

2.3. 查看主题信息

2.4. 主题信息分析

三、KAFKA 主题创建于查看生产与消费

3.1. 客户端监听消息

3.2. 生产消息

3.3. 从头监听消息

KAFKA 最新版 Shell API单机生产与消费相关推荐

最新文章

热门文章