kafka-topic管理

一.概念

kafka的topic是一个逻辑概念,一个topic对应多个分区,一个分区对应多个副本,一个副本对应一台broker上的一个文件夹,例如topic为test的第0个分区的一个副本的文件夹名为test-1,每个分区在一个broker上只能有一个副本,所以所有副本的文件夹名是相同的,只是在不同的broker上

每个副本的文件夹内有以下文件:

00000000000000000974.index //索引文件

00000000000000000974.snapshot //快照文件
00000000000000000974.log //数据文件

00000000000000000974.timeindex //时间索引文件

二.topic操作

topic的操作可以通过kafka的脚本或者java的client客户端实现

客户端代码如下,进站时:

            var props = new Properties();props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092");AdminClient adminClient = KafkaAdminClient.create(props);CreateTopicsResult topics = adminClient.createTopics(Collections.singletonList(new NewTopic("jc-kafka1-topic5", 32, (short)3)));topics.all().get();Collection<TopicListing> topicListings = adminClient.listTopics().listings().get();Collection<Node> nodes = adminClient.describeCluster().nodes().get();Map<TopicPartition, Optional<NewPartitionReassignment>> reassignments = new HashMap<>();adminClient.alterPartitionReassignments(reassignments);System.out.println(nodes);System.out.println(topicListings);

脚本操作:

1.创建topic

./kafka-topics.sh --zookeeper 127.0.0.1:2181/kafka-plaintext-poc --create --topic jc-kafka1-topic6 --partitions 4 --replication-factor 3

通过服务器查看topic文件夹

root@jc-kafka-1-0:/kafka-logs/kafka# ls |grep jc-kafka1-topic6
jc-kafka1-topic6-0
jc-kafka1-topic6-1
jc-kafka1-topic6-2
jc-kafka1-topic6-3

通过zk查看节点

[zk: 172.24.131.209:2181(CONNECTED) 4] ls /kafka-plaintext-poc/brokers/topics
[__CruiseControlMetrics, __KafkaCruiseControlModelTrainingSamples, __KafkaCruiseControlPartitionMetricSamples, __consumer_offsets, jc-kafka-1-topic-1, jc-kafka-1-topic-2, jc-kafka1-topic4, jc-kafka1-topic5, jc-kafka1-topic6]

2.查看topic

./kafka-topics.sh --zookeeper 127.0.0.1:2181/kafka-plaintext-poc --describe --topic jc-kafka1-topic6

Topic: jc-kafka1-topic6 PartitionCount: 4 ReplicationFactor: 3 Configs:
Topic: jc-kafka1-topic6 Partition: 0 Leader: 2 Replicas: 2,1,0 Isr: 2,1,0
Topic: jc-kafka1-topic6 Partition: 1 Leader: 0 Replicas: 0,2,1 Isr: 0,2,1
Topic: jc-kafka1-topic6 Partition: 2 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2
Topic: jc-kafka1-topic6 Partition: 3 Leader: 2 Replicas: 2,0,1 Isr: 2,0,1

可以看到分区各个副本的详细布局
3.修改配置

./kafka-topics.sh --zookeeper 127.0.0.1:2181/kafka-plaintext-poc --alter --topic jc-kafka1-topic6 --config segment.bytes=10000

Updated config for topic jc-kafka1-topic6

4.删除topic

./kafka-topics.sh --zookeeper 127.0.0.1:2181/kafka-plaintext-poc --delete --topic jc-kafka1-topic6

kafka-topic管理相关推荐

【无标题】Kafka副本管理—— 为何去掉replica.lag.max.messages参数
1.概述转载:Kafka副本管理-- 为何去掉replica.lag.max.messages参数今天查看Kafka 0.10.0的官方文档,发现了这样一句话:Configuration para ...
【Centos】EFAK（kafka-eagle）对ZK、Kafka可视化管理工具容器化安装与配置
[Centos]EFAK(kafka-eagle)对ZK.Kafka可视化管理工具容器化安装与配置前言构建 Dockerfile system-config.properties works re ...
EFAK - Kafka可视化管理工具
前言什么是EFAK EFAK(Eagle For Apache Kafka,以前称为 Kafka Eagle)EFAK是开源可视化和管理软件.可以查询.可视化.监控kafka集群,是将 kafka ...
Kafka可视化管理工具-CMAK（kafka-manager）
一.简介为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager(已改名为 cmak). 这个管理工具可以很容易 ...
一站式Kafka监控管理平台KafkaCenter
目录 KafkaCenter是什么? KafkaCenter 解决了什么问题我们面临的问题 Kafka Center解决了哪些问题功能模块介绍使用操作步骤使用创建的test用户登录系统最近在 ...
Zabbix监控Kafka topic积压数据
Kafka Apache Kafka是一个分布式发布-订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点. Kafka适合离线和在线消息消费. Kafka消息 ...
kafka topic制定规则
kafka topic的制定,我们要考虑的问题有很多,比如生产环境中用几备份.partition数目多少合适.用几台机器支撑数据量,这些方面如何去考量?笔者根据实际的维护经验,写一些思考,希望大家指正 ...
Java程序创建Kafka Topic，以及数据生产消费，常用的命令
转自: Java程序创建Kafka Topic,以及数据生产消费,常用的命令_Zyy_z_的博客-CSDN博客_java kafka创建topicKafka简介: Kafka是一个分布式发布--订阅消 ...
Kafka—topic的查询和创建
记录常用的kafka常用的topic相关命令查看topic列表 [root@shtest01 ~]# /usr/lib/kafka/bin/./kafka-topics.sh --list --zo ...
【kafka】kafka 2.3 版本的kafka topic 分区扩容
文章目录 1.概述 2 .AdminZkClient扩容 1.概述首先参考文章:[kafka]kafka 0.10以及1.x版本的kafka topic 分区扩容因为需要所以需要一个程序对kafk ...

kafka-topic管理

kafka-topic管理相关推荐

最新文章

热门文章