Kafka 优化参数 unclean.leader.election.enable

Kafka 某个节点挂掉，导致整个服务异常，为了保证服务容灾，可对下面几个参数进行调整

unclean.leader.election.enable=true
min.insync.replicas=1
offsets.topic.replication.factor=3

这三个配置什么意思呢? 依次来看一下：

unclean.leader.election.enable

官方描述:
Indicates whether to enable replicas not in the ISR set to be selected as leader as a last resort, even though doing so may result in data loss。

解释：该字段默认值为False。默认情况下leader不能从非ISR的副本列表里选择；因为在非ISR副本列表里选择leader，很有可能会导致部分数据丢失。既然这样，那为什么还要打开这个字段呢？因为在很异常情况下，比如ISR内的副本都不可用了，此时如果该字段设置为False，服务会直接挂掉；如果该字段设为True，即允许从非ISR列表中选择leader，那么服务尽管有可能丢失数据，却依然可以继续使用。所以这个参数必须参考业务特性来决定是否打开。

min.insync.replicas

官方描述：
When a producer sets acks to "all" (or "-1"), min.insync.replicas specifies the minimum number of replicas that must acknowledge a write for the write to be considered successful。

解释：该字段默认值为1。上述英文翻译为：表示当在acks=-1时，最少有一个Replica进行确认回执，才确认数据写入成功。这个参数在集群搭建时，为了保证数据的完整性，经常会被改为2。这里改为1的原因是：在只有一个副本在工作、其他都挂掉的极端情况下，保证客户端能够正常提供服务。如果设置为2，当只有一个副本在工作的时候，就会出现生产端一直生产失败的情况，会影响业务。

offsets.topic.replication.factor

官网描述:
The replication factor for the offsets topic (set higher to ensure availability). Internal topic creation will fail until the cluster size meets this replication factor requirement.

解释：该值默认为1。表示kafka的内部topic consumer_offsets副本数。当该副本所在的broker宕机，consumer_offsets只有一份副本，该分区宕机。使用该分区存储消费分组offset位置的消费者均会收到影响，offset无法提交，从而导致生产者可以发送消息但消费者不可用。所以需要设置该字段的值大于1。

查阅相关资料：

https://blog.csdn.net/u013256816/article/details/80790185

腾讯云中间件公众号

Kafka 优化参数 unclean.leader.election.enable相关推荐

Kafka中的配置项参数unclean.leader.election.enable
Kafka 某个节点挂掉,导致整个服务异常,为了保证服务容灾,可对unclean.leader.election.enable参数进行调整,该字段的官方解释为: Indicates whether t ...
Kafka参数图鉴——unclean.leader.election.enable
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
Kafka Leader Election
Zookeeper 节点类型节点有两个维度,一个是永久的还是临时的,另一个是否有序.组合成的四种类型如下: 1:PERSISTENT / ...
MIT 6.824 Lab2A (raft) -- Leader Election
文章目录实验要求 Leader Election流程及详细实现介绍基本角色关键超时变量关键的两个RPC实现 RequestVote RPC AppendEntries RPC Go并发编程实 ...
Apache Kafka: 优化部署的10个最佳实践
原文作者:Ben Bromhead 译者:江玮原文地址:https://www.infoq.com/articles/apache-kafka-best-practices-to-opti ...
Kafka关键参数设置
生产环境中使用Kafka,参数调优非常重要,而Kafka参数众多,我们的java的Configuration代码中,经常设置的参数如下: Properties props = new Properti ...
Kafka（三）-- Kafka主要参数
原文地址:http://debugo.com/kafka-params/ 1 ############################# System ######################## ...
mysql属性配置提高查询_MYSQL性能优化-安装时优化参数配置提高服务性能
MYSQL性能优化一直是个头痛的问题,目前大多都是直接把页面html静态页面或直接使用了缓存技术,下面我就mysql本身的性能优化来分享一下. 安装时优化参数配置提高服务性能在Linux下安装Mys ...
R语言使用caret包对GBM模型自定义参数调优：自定义优化参数网格、可视化核心参数与评估指标关系、Accuracy与树的深度、个数的关系、Kappa与树的深度、个数的关系
R语言使用caret包对GBM模型自定义参数调优:自定义优化参数网格.可视化核心参数与评估指标关系.Accuracy与树的深度.个数的关系.Kappa与树的深度.个数的关系目录 R语言使用caret ...

Kafka 优化参数 unclean.leader.election.enable

Kafka 优化参数 unclean.leader.election.enable相关推荐

最新文章

热门文章