Kafka中broker，分区，副本的概念

(43条消息) Kafka的生成者、消费者、broker的基本概念_陈晨辰呀的博客-CSDN博客_broker

创建topic并查看topic情况

副本：

查看日志文件找到两个分区partition的日志文件

(43条消息) Kafka的生成者、消费者、broker的基本概念_陈晨辰呀的博客-CSDN博客_broker

创建topic并查看topic情况

bin/kafka-topics.sh --create --bootstrap-server 82.157.198.247:9092,82.157.198.247:9093 --replication-factor 2 --partitions 2 --topic jqTopic

bin/kafka-topics.sh --bootstrap-server 82.157.198.247:9092 --describe --topic my-topic

解释：当创建两个分区三个副本，两个分区放在不同的topic上，为什么要有副本？：保证我们的数据一致性，防止宕机的时候，能够保证数据不被丢失，比如上述：分区0在kafka2服务器上为leader，其余服务器为从机保存了它的副本，分区1与之类似

Isr的作用：当leader挂了后，会从Isr中选举，如果从机节点性能较差会被踢掉

副本：

在kafka集群多个broker中，在kafka的读写操作都在leader上发生，leader负责将数据复制给follower；当主机宕机后，经过主从选举，会产生一个新的follower（cp）

一般是多少个分区就多少个副本与broker数相等，以分配给其他kafka节点

查看日志文件找到两个分区partition的日志文件

两个分区的文件有三个副本，所以在每个broker中都有分区的文件

Kafka中broker，分区，副本的概念相关推荐

干趴面试官系列 | 请你简述一下Kafka中的分区分配
欢迎跳转到本文的原文链接:https://honeypps.com/mq/kafka-basic-knowledge-of-partition-assignors/ "请你简述一下Kafka ...
【kafka】kafka topic某些分区副本落后leader太多
文章目录 1.概述本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 1.概述社区有人问 kafka topic某些分区副本落后leader太多有大佬 ...
Kafka之分区副本与ISR
概念什么是副本 Kafka的Topic分区本质是一个用于存储Topic下的消息的日志,但是只存一份日志会因为机器损坏或其他原因导致消息丢失不可恢复, 因此需要多个相同的日志作为备份,提高系统可用性, ...
Kafka分区副本重分配源码分析
Kafka分区副本重分配文章目录 Kafka分区副本重分配 1.前言 2.分区副本重分配流程图 3.分区副本重分配详细分析 3.1 客户端行为 3.1.1 执行副本重分配脚本 3.1.2 解析并验证 ...
Kafka中副本机制的设计和原理
Kafka中一个分区可以拥有多个副本,副本可分布于多台机器上.而在多个副本中,只会有一个Leader副本与客户端交互,也就是读写数据.其他则作为Follower副本,负责同步Leader的数据,当Le ...
[kafka]kafka中的zookeeper是做什么的？
前言为什么自己要整理博客和学习笔记呢?是想把知识系统的,有条理的归纳在一起~ 而且一个东西的完成,也很有成就感,还可以打卡某一个知识点. 标红可以快速回忆自己整理过的知识~ ZooKeeper是什么 ...
Kafka（9）副本（leader、flower、isr说明）
分区(Partition):作用是分段存储kafka中的消息副本:是对分区的备份,在集群中,不同的副本会被部署在不同的broker上. 一:副本概念副本是对分区的备份.在集群中,不同的副本会被部署 ...
kafka中文文档（0.10.0）
kafka中文文档(0.10.0) 作者:链上研发-老杨叔叔时间:2016-07-22 版本:Apache Kafka 0.10.0 (2016年5月底发布) .目录 kafka中文文档0100 目 ...
8.解析Kafka中的 Topic 和 Partition
目录 1.什么是Topic 2.什么是Partition 3.Consumer Group 消费者组 4.Topic 和 Partition 的存储 5.producer消息分发策略 6.消费者如何消 ...

Kafka中broker，分区，副本的概念

(43条消息) Kafka的生成者、消费者、broker的基本概念_陈晨辰呀的博客-CSDN博客_broker

创建topic并查看topic情况

副本：

查看日志文件找到两个分区partition的日志文件

Kafka中broker，分区，副本的概念相关推荐

最新文章

热门文章