设置Kafka集群的方法
1.目标
今天,在这篇Kafka文章中,我们将看到Kafka Cluster Setup。这个Kafka集群教程为我们提供了一些设置Kafka集群的简单步骤。简而言之,为了实现Kafka服务的高可用性,我们需要在集群模式下设置Kafka。 因此,在此Kafka Cluster文档中,我们将学习Kafka多节点群集设置和Kafka多代理群集设置。此外,我们将看到Kafka Zookeeper群集设置。
那么,让我们开始Kafka群集设置。
设置Kafka集群的方法:Apache Kafka
你对卡夫卡了解多少
2. Kafka群集设置
为了获得更好的Kafka服务可靠性和高可用性,我们需要在集群模式下设置Kafka。一开始:
- 从Apache的网站下载Kafka。另外,解压缩zip文件。
- 此外,制作提取的文件夹的两个副本,然后将后缀_1,_2,_3添加到这些文件夹名称。因此,如果我们提取的文件夹名称为kafka_2.11-1.1.0,您将拥有文件夹kafka_2.11-1.1.0_1,kafka_2.11-1.1.0_2,kafka_2.11-1.1.0_3。
- 转到kafka_2.11-1.1.0_1文件夹。
我们来讨论Apache Kafka Connect - 完整指南2018
3.设置Kafka群集的步骤
现在,按照几个步骤设置Kafka Cluster:
- 创建一个名为“logs”的文件夹。在此文件夹中,将存储所有Kafka日志。
- 然后,打开server.properties文件,进入config目录。在这里,我们将找到包含Kafka代理配置的文件。
- 此外,将broker.id设置为1.确保它是Kafka群集中代理的ID,因此对于每个代理,它必须是唯一的。
- 然后,取消注释侦听器的配置,并将其设置为PLAINTEXT:// localhost:9091。它说,对于连接请求,Kafka经纪人将监听端口9091。
- 此外,使用logs文件夹路径,设置我们在步骤1中创建的log.dirs配置。
- 另外,在zookeeper.connect配置中设置Apache Zookeeper地址。但是,如果Zookeeper在Kafka集群中运行,请确保将该地址作为逗号分隔列表,即:localhost:2181,localhost:2182。
基本上,这些是我们需要为开发环境设置的一些常规配置。
通过这种方式,我们的第一个Kafka代理配置就绪。现在,对于其他两个文件夹或代理,请按照相同的步骤进行以下更改。
让我们在Apache Kafka中修改Zookeeper的角色
- 现在,将broker.id分别更改为2和3,分别在步骤3中。
- 并且,还要在步骤4中分别更改用于9092和9093的端口。注意:可以提供任何可用的端口号。
因此,对于所有经纪人,我们的配置已准备就绪。现在,运行命令./bin/kafka-server-start.sh config / server.properties,转到每个Kafka文件夹的主目录。
- 执行命令(全部作为一行):
- ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --rerelication -factor
- 3 --partitions 50 --topic演示
这里每个分区的复制因子为3,创建了50个分区。在定义复制因子为3时,对于分区,将有一个领导者和两个粉丝。此外,在将消息或记录发送给领导者时,它将被复制到粉丝中。
- 执行以下命令:
- ./bin/kafka-topics.sh --describe --topic Hello-Kafka --zookeeper localhost:2181
它有助于我们知道哪个代理是哪个分区的领导者或关注者。
- 输出:
主题:demoPartitionCount:50ReplicationFactor:3Configs:
主题:demoPartition:0Leader:2Replicas:2,3,1Isr:2,3,1
主题:demoPartition:1Leader:3Replicas:3,1,2Isr:3,1,2
主题:demoPartition: 2Leader:1Replicas:1,2,3Isr:1,2,3
主题:demoPartition:3Leader:2Replicas:2,1,3Isr:2,1,3
主题:demoPartition:4Leader:3Replicas:3,2,1Isr:3, 2,1
主题:demoPartition:5Leader:1Replicas:1,3,2Isr:1,3,2
主题:demoPartition:6Leader:2Replicas:2,3,1Isr:2,3,1
........................... .......................................
..................................................................
............................................. .....................
现在,我们可以看到Broker 2是领导者,分区0和Broker 3是分区1的领导者。而且,这里ISR指的是同步副本。
看看Apache Kafka术语和概念
所以,这完全是关于Kafka Cluster的。希望你喜欢我们的解释
4。结论
因此,在这个Kafka群集设置教程中,我们学习了三个代理的Kafka群集设置。此外,我们讨论了Kafka多节点设置和Kafka - Zookeeper设置。但是,如果对Kafka群集设置有任何疑问,请在评论标签中询问。
另请参阅 - 如何创建Kafka客户端以
供参考
转载于:https://www.cnblogs.com/a00ium/p/10849965.html
设置Kafka集群的方法相关推荐
- 大数据之超级详细的KafKa集群搭建过程
大数据 大数据之超级详细的KafKa集群搭建过程 文章目录 大数据 大数据之超级详细的KafKa集群搭建过程 前言 一.Kafka集群配置方法 1.1 将Kafka的安装包上传到虚拟机,并解压(三个虚 ...
- kafka集群中常见错误的解决方法:kafka.common.KafkaException: Should not set log end offset on partition
kafka集群中常见错误的解决方法:kafka.common.KafkaException: Should not set log end offset on partition 参考文章: (1)k ...
- Kafka系列之:不重启kafka集群设置kafka topic数据保留时间
Kafka系列之:不重启kafka集群设置kafka topic数据保留时间 一.kafka topic数据保留3天的bash命令 二.查看kafka删除数据日志 三.批量设置上千个topic保留3天 ...
- 另类--kafka集群中jmx端口设置
# 监控kafka集群 # 有一个问题,需要在kafka-server-start.sh文件中配置端口,有如下三种办法 # 第一种:复制并修改kafka目录,比如kafka-1,kafka-2,kaf ...
- 如何找到Kafka集群的吞吐量极限?\n
Kafka是非常流行的分布式流式处理和大数据消息队列解决方案,在技术行业已经得到了广泛采用,在Dropbox也不例外.Kafka在Dropbox的很多分布式系统数据结构中发挥着重要的作用:数据分析.机 ...
- kafka 丢弃数据_20条关于Kafka集群应对高吞吐量的避坑指南
Apache Kafka是一款流行的分布式数据流平台,它已经广泛地被诸如New Relic(数据智能平台).Uber.Square(移动支付公司)等大型公司用来构建可扩展的.高吞吐量的.高可靠的实时数 ...
- 吞吐量达到瓶颈后下降_如何找到 Kafka 集群的吞吐量极限?
Kafka 是非常流行的分布式流式处理和大数据消息队列解决方案,在技术行业已经得到了广泛采用,在 Dropbox 也不例外.Kafka 在 Dropbox 的很多分布式系统数据结构中发挥着重要的作用: ...
- Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建
Zookeeper是一种在分布式系统中被广泛用来作为:分布式状态管理.分布式协调管理.分布式配置管理.和分布式锁服务的集群.kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kaf ...
- kafka 集群_单机版kafka集群部署
前言 分布式消息队列是大型分布式系统不可缺少的中间件,主要解决应用耦合.异步消息.流量削锋等问题.实现高性能.高可用.可伸缩和最终一致性架构. 今天跟大家讲解下如何部署单机Kafka集群,希望大家喜欢 ...
- ELK5.3+Kafka集群配置
[一]资源准备 # 3台4C*8G, 安装Zookeeper.Kafka.Logstash--Broker(input: filebeat; output: Kafka) 10.101.2.23 10 ...
最新文章
- SpringBoot2.3 修改响应头、添加更新token、解决在过滤器中修改失败
- Kibana + Elasticsearch + ik分词的集群搭建
- tiny4412 u-boot 启动参数的设置
- php上传图文教程,PHP 上传图片、文件的方法
- 牛顿的另一面:夺权、严惩罪犯,以一己之力挽救英国危机
- 阻带窗函数[数字信号处理]使用窗函数设计FIR滤波器
- C++ Opengl纹理过滤和光照实例源码
- Linux下core文件调试方法收藏
- 与圆相关的计算(信息学奥赛一本通-T1014)
- 如何保证消息队列的高可用
- 浪擎全融合灾备云获大数据安全领域最佳创新奖
- C#.Net工作笔记003---异步编程async await_在开发中的使用经验_随时更新
- 如何查看linux 版本
- 射频微电子学_射频人的双十二,应该这样过……
- php调用redis的scan,hscan,zscan 命令
- TAOCP_READING 1.1完
- MATLAB GUI中显示数学公式
- golang 使用 goquery 抓取 知乎周刊
- 几个不知道算不算经典的游戏
- C# 实现对接电信交费易自动缴费
热门文章
- oracle 2500varchar,Oracle中的varchar和varchar2有什么区别?
- redis zset怎么排序_关于Redis(一)
- 6. Keras-RNN应用
- 如何在qt中插入html,如何在QT中的文本文件中插入文本?
- dns遭到劫持_关于网站pr劫持的问题,PR劫持是如何实现的呢?
- iris数据_针对iris数据集 支持向量机不同核函数的比较
- python 伪多线程_从伪并行的 Python 多线程说起
- Ubuntu之hadoop非分布式(单机)和伪分布式安装
- 【浙江省第16届省赛E:】Sequence in the Pocket(思维--不模拟复杂过程)
- 阿里云云计算 20 在线实验--块存储的使用