Kafka负载均衡策略

分区器

分区器是生产者层面的负载均衡。Kafka 生产者生产消息时，根据分区器将消息投递到指定的分区中，所以 Kafka 的负载均衡很大程度上依赖于分区器。

Kafka 默认的分区器是 Kafka 提供的 DefaultPartitioner。它的分区策略是根据 Key 值进行分区分配的：

如果 key 不为 null：对 Key 值进行 Hash 计算，从所有分区中根据 Key 的 Hash 值计算出一个分区号；拥有相同 Key 值的消息被写入同一个分区；如果 key 为 null：消息将以轮询的方式，在所有可用分区中分别写入消息。如果不想使用 Kafka 默认的分区器，用户可以实现 Partitioner 接口，自行实现分区方法。

注：
在笔者的理解中，分区器的负载均衡与顺序性有着一定程度上的矛盾。

负载均衡的目的是将消息尽可能平均分配，对于 Kafka 而言，就是尽可能将消息平均分配给所有分区；

如果使用 Kafka 保证顺序性，则需要利用到 Kafka 的分区顺序性的特性。对于需要保证顺序性的场景，通常会利用 Key 值实现分区顺序性，那么所有 Key 值相同的消息就会进入同一个分区。这样的情况下，对于大量拥有相同 Key 值的消息，会涌入同一个分区，导致一个分区消息过多，其他分区没有消息的情况，即与负载均衡的思想相悖。

并非分区数量越多，效率越高：
Topic 每个 partition 在 Kafka 路径下都有一个自己的目录，该目录下有两个主要的文件：base_offset.log 和 base_offset.index。Kafka 服务端的 ReplicaManager 会为每个 Broker 节点保存每个分区的这两个文件的文件句柄。所以如果分区过多，ReplicaManager 需要保持打开状态的文件句柄数也就会很多。

每个 Producer, Consumer 进程都会为分区缓存消息，如果分区过多，缓存的消息越多，占用的内存就越大；

n 个分区有 1 个 Leader，(n-1) 个 Follower，如果运行过程中 Leader 挂了，则会从剩余 (n-1) 个 Followers 中选举新 Leader；如果有成千上万个分区，那么需要很长时间的选举，消耗较大的性能。

再均衡

再均衡是消费者层面的负载均衡

Kafka负载均衡策略相关推荐

负载均衡策略深入剖析
在实际应用中,我们可能不想仅仅是把客户端的服务请求平均地分配给内部服务器,而不管服务器是否宕机.而是想使Pentium III服务器比Pentium II能接受更多的服务请求,一台处理服务请求较少的服 ...
Nginx面试三连问：Nginx如何工作？负载均衡策略有哪些？如何限流？
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 1.什么是Nginx,谈谈个人都理解,项目中是否用到,为什 ...
nginx 反向代理和负载均衡策略实战案例
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料作者:glmapper https://juejin.im/pos ...
网易MySQL中间件的负载均衡策略及性能优化
来自:DBAplus社群团队介绍网易乐得DBA组,负责网易乐得电商.网易邮箱.网易技术部数据库日常运维,负责数据库私有云平台的开发和维护,负责数据库及数据库中间件Cetus的开发和测试等等. 一. ...
负载均衡策略关键因素
负载均衡策略的优劣及其实现的难易程度有两个关键因素: 第一,负载均衡算法:第二,对网络系统状况的检测方式和能力.
企业级java springcloud b2bc商城系统开源源码二次开发-负载均衡策略...
简单轮询负载均衡以轮询的方式依次将请求调度不同的服务器,即每次调度执行i=(i+1) mod n 文章来源 JAVA ssm b2b2c多用户商城系统源码随机负载均衡随机选择状态为UP的serv ...
spring cloud中通过配置文件自定义Ribbon负载均衡策略
2019独角兽企业重金招聘Python工程师标准>>> spring cloud中通过配置文件自定义Ribbon负载均衡策略博客分类: 微服务一.Ribbon中的负载均衡策略 1 ...
几种软负载均衡策略分析
版权声明:本文为Sunface原创文章,请随意转载,若有需要敬请联系CTO@188.com.同时欢迎大家加入Golang隐修会,QQ群894864,大神很多. 公司去年上了F5,好用是好用,但是费用太 ...
Ribbon负载均衡策略配置
在这里吐槽一句:网上很多文章真是神坑,你不看还好,看了只会问题越来越多,就连之前的问题都没有解决!!! 不多说了,Ribbon作为后端负载均衡器,比Nginx更注重的是请求分发而不是承担并发,可以直接 ...

Kafka负载均衡策略

分区器

再均衡

Kafka负载均衡策略相关推荐

最新文章

热门文章