kafka HW机制的作用

1、如果没有该机制，消费端从leader副本poll了一批消息消费之后，leader副本挂机了，之后从ISR选举出的副本中的消息可能是比leader少了的。如果此时consumer处理完这批数据提交offset，有可能将producer在选举之后到提交offset这段时间内，新生产的而且自己未消费的数据置为已消费。也就是消费端会丢失这部分新产生而在kafka中实实在在保存着的数据。这时候消费端很难区分队列中的这部分存在然而没有被消费的数据的。
2、那设置了HW机制，在ack模式为1的情况下其实也是丢失了数据的。但是这部分数据的丢失是可以通过将ack模式改为-1，producer使用同步发送来解决的。
3、对比两种丢失数据的情况。个人理解，第2种丢失的场景排查起来应该会更容易一些。因为可以明确的看到kafka中没有这些消息。第1种丢失数据的场景，明明数据在kafka中有，但是消费端就是没有消费，应该会很让人摸不到头脑。

kafka HW机制的作用相关推荐

Kafka详解（五）Kafka副本机制
所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝.它的作用主要有以下几点: 提供数据冗余.即使系统部分组件失效,系统依然能够 ...
kafka 同步提交异步_详解Kafka设计架构核心——Kafka副本机制详解
所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝.副本机制有什么好处呢? 1. 提供数据冗余.即使系统部分组件失效,系统依然 ...
Kafka | Kafka副本机制详解
今天我要和你分享的主题是:Apache Kafka 的副本机制. 所谓的副本机制(Replication),也可以称之为备份机制,通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝.副本机制 ...
Kafka设计解析（八）- Kafka事务机制与Exactly Once语义实现原理
http://www.infoq.com/cn/articles/kafka-analysis-part-8# 写在前面的话本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本 ...
c语言继承机制的作用,计算机二级C++强化试题及答案
计算机二级C++强化试题及答案通过试题的练习,能够帮助考生们掌握所学知识点,下面是小编为大家整理的计算机二级C++强化试题及答案,欢迎参考~ 计算机二级C++强化试题及答案 1). 循环链表的主要优 ...
java 委托_面试官：java双亲委派机制及作用
什么是双亲委派机制当某个类加载器需要加载某个.class文件时,它首先把这个任务委托给他的上级类加载器,递归这个操作,如果上级的类加载器没有加载,自己才会去加载这个类. 类加载器的类别 Bootst ...
kafka分区机制详解
本文来说下SpringBoot整合kafka之kafka分区实战文章目录 kafka分区机制分区个数选择分区写入策略轮询策略随机策略按键保存策略本文小结 kafka分区机制分区机制是k ...
Kafka 心跳机制重复消费
kafka 心跳机制 Kafka是通过心跳机制来控制消费超时,心跳机制对于消费者客户端来说是无感的,它是一个异步线程,当我们启动一个消费者实例时,心跳线程就开始工作了.心跳超时会导致消息重复消费. 在 ...
6张图阐述Kafka心跳机制（时间轮算法的具体运用）
Broker端与客户端的心跳在Kafka中非常的重要,因为一旦在一个心跳过期周期内(默认10s),Broker端的消费组组协调器(GroupCoordinator)会把消费者从消费组中移除,从而触发重 ...

kafka HW机制的作用

kafka HW机制的作用相关推荐

最新文章

热门文章