DelayedOperation分析

我们知道，ProducerRequest和 FetchRequest两种请求，服务端在收到这请求时候，并不是立即响应返回，可能会等待一段时间才返回。

对于ProducerRequest来说，其中acks设置为-1，表示ProducerRequest

发送到leader之后，需要ISR集合中所有副本都同步该请求中消息（或者超时了）才能返回响应给客户端. ISR集合中的副本分布在不同的broker上，与leader同步就涉及到网络通信，一般情况下网络传输可能是一个耗时的过程，通常采用异步方式来处理，避免线程长时间等待

当FetchRequest发送到leader之后，会积累一定的消息才返回给消费者或者follower副本，并不是leader副本HighWatermark后移一条消息就立即返回给消费者，这是为了实现了批量消息发送

Kafka利用SystemTimer来定期检查请求超时，但这些请求真正目的并不是超时执行，而是为了满足其他条件后执行，所以SystemTimer已经无法满足需求。随意Kafka使用DelayedOpeartion来抽象延迟操作，对TimerTask做了一些扩展，除了有定时执行的功能，还提供检测其他条件执行的功能

核心方法：

# run: DelayedOperation到期时会提交到SystemTimer.taskExecutor线程执行，其中会调用forceComplete方法完成延迟操作，然后调用onExpiration方法执行延迟操作到期执行

override def run(): Unit = {
if (forceComplete())
onExpiration()
}

# onExpiration：DepayedOpearion到期时执行的具体逻辑

def onExpiration(): Unit

# forceComplete：如果DelayedOperation没有完成，则先将任务从时间轮删除到，然后调用onCompleted方法执行具体的业务逻辑

def forceComplete(): Boolean = {if (completed.compareAndSet(false, true)) {// cancel the timeout timercancel()onComplete()true} else {false}
}

# tryComplete：子类根据自身类型，检测执行条件是否满足，若满足则回调用forceComplete方法完成延迟操作

def tryComplete(): Boolean

# onComplete： DelayedOperation具体的业务逻辑，比如DeplayedProduce中该方法实现就是向客户端返回ProduceResponse，该方法只能被forceComplete方法中被调用，且在DelayedOperation生命周期中只能被调用一次

def onComplete(): Unit

# isCompleted：检测是任务是否完成

def isCompleted: Boolean = completed.get()

DelayedOperation分析相关推荐

ReplicaManager分析
一个broker可能分布多个Partition的副本信息,ReplicaManager主要负责管理一个broker范围内的Partition信息,然后它还根据Kafka Controller发送过来的 ...
【Golang源码分析】Go Web常用程序包gorilla/mux的使用与源码简析
目录[阅读时间:约10分钟] 一.概述二.对比: gorilla/mux与net/http DefaultServeMux 三.简单使用四.源码简析 1.NewRouter函数 2.HandleF ...
2022-2028年中国自动驾驶系统行业现状调研分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版本报告介绍了中国自动驾驶系统行业市场行业相关概述.中国自 ...
2022-2028年中国阻尼涂料市场研究及前瞻分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版本报告介绍了中国阻尼涂料行业市场行业相关概述.中国阻尼涂 ...
2021-2028年中国阻燃装饰行业市场需求与投资规划分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版本报告介绍了中国阻燃装饰行业市场行业相关概述.中国阻燃装 ...
2022-2028年全球与中国漂白吸水棉市场研究及前瞻分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版本报告介绍了全球与中国漂白吸水棉行业市场行业相关概述.全 ...
2022-2028年全球与中国青苔清洗剂市场研究及前瞻分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版本报告介绍了全球与中国青苔清洗剂行业市场行业相关概述.全 ...
2022-2028年全球与中国氢碘化物市场智研瞻分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版本报告介绍了全球与中国氢碘化物行业市场行业相关概述.全球 ...
2022-2028年全球与中国人字拖市场研究及前瞻分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版本报告介绍了全球与中国人字拖行业市场行业相关概述.全球与 ...

DelayedOperation分析

DelayedOperation分析相关推荐

最新文章

热门文章