spark ui 上schedulingDelay理解

Spark UI页面上的schedulingDelay具体为一批job submit到第一个job开始执行的这段时间。

其中submitTime在JobGenerate中根据定时生成job的事件而触发的generateJobs()方法中，当job被封装成JobSet的时候准备提交给JobScheduler执行的时候，在JobSet的构造方法被记录。

Try {jobScheduler.receiverTracker.allocateBlocksToBatch(time) // allocate received blocks to batchgraph.generateJobs(time) // generate jobs using allocated block
} match {case Success(jobs) =>val streamIdToInputInfos = jobScheduler.inputInfoTracker.getInfo(time)jobScheduler.submitJobSet(JobSet(time, jobs, streamIdToInputInfos))case Failure(e) =>jobScheduler.reportError("Error generating jobs for time " + time, e)PythonDStream.stopStreamingContextIfPythonProcessIsDead(e)
}

而第一个job的生成时间，则是在JobScheduler中，job被封装成JobHandler在JobScheduler的线程池中正式执行run()方法之前，通过eventLoop发送JobStarted事件的时候，当作为该批第一个job执行的时候，将会记录当前时间，这个时间之差就是spark ui上一批job上记录的schedulingDelay，之后将会包装成event告知成消息总线该批任务的schedulingDelay。

val jobSet = jobSets.get(job.time)
val isFirstJobOfJobSet = !jobSet.hasStarted
jobSet.handleJobStart(job)
if (isFirstJobOfJobSet) {// "StreamingListenerBatchStarted" should be posted after calling "handleJobStart" to get the// correct "jobSet.processingStartTime".listenerBus.post(StreamingListenerBatchStarted(jobSet.toBatchInfo))
}

由此可见，schedulingDelay的时间主要为job被生成准备提交到JobScheduler到线程池中正式被执行的这段时间，schedulingDelay时间也就是该job在线程池在阻塞队列中等待执行的时间。

spark ui 上schedulingDelay理解相关推荐

Spark UI的见解
作为延续解剖的-Apache的火花的工作后,我将分享如何利用星火UI调谐工作. 我将继续使用先前文章中使用的相同示例,新的spark应用程序将在以下方面完成工作 –阅读纽约市停车票 –通过" ...
那些年我们在spark SQL上踩过的坑
做了一年延云YDB的开发,这一年在使用spark上真心踩了不少坑,总结一下,希望对大家有所帮助. spark 内存泄露 1.高并发情况下的内存泄露的具体表现很遗憾,spark的设计架构并不是为了高并 ...
Spark UI (基于Yarn) 分析与定制
前言有时候我们希望能对Spark UI进行一些定制化增强.并且我们希望尽可能不更改Spark的源码.为了达到此目标,我们会从如下三个方面进行阐述: 理解Spark UI的处理流程现有Executo ...
手把手带你了解Spark作业“体检报告” --Spark UI
手把手带你了解Spark作业"体检报告" --Spark UI Spark UI 一级入口 Executors Environment Storage SQL Jobs Stage ...
Spark UI界面原理
当Spark程序在运行时,会提供一个Web页面查看Application运行状态信息.是否开启UI界面由参数spark.ui.enabled(默认为true)来确定.下面列出Spark UI一些相关配 ...
Spark UI无法查看到slave节点
背景信息: Spark两个节点,主机名分别为master和slave,$SPARK_HOMR/conf/slaves配置了两条记录:两行分别为master和slave. 先使用./sbin/start ...
Spark UI在虚拟机中可以打开，但是在宿主机上无法访问
场景描述: 在笔记本Windows10的VMware Workstation Pro中安装CentOS 7 的VM,并部署了Spark 错误描述: 在Centos中可以访问Spark UI,但是在Wi ...
Unity的ScrollRect如何裁切粒子特效，以及如何使粒子特效显示在UI上
在功能开发中,有时候为了更好的效果会在UI上添加一些特效,比如在头像框上增加一个圆环的粒子特效,但由于粒子和UI的渲染方式有些不同,导致会出现UI和特效之间穿插,显示上不理想.并且如果在ScrollR ...
云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践
作者:余建涛,大数据平台产品中心高级工程师摘要 Spark UI是查看Spark作业运行情况的重要窗口,用户经常需要根据UI上的信息来判断作业失败的原因或者分析作业如何优化.DLC团队实现了云原生的 ...

spark ui 上schedulingDelay理解

spark ui 上schedulingDelay理解相关推荐

最新文章

热门文章