JobTracker节点后台线程之RetireJobs

参考：http://blog.csdn.net/xhh198781/article/details/7342282

Hadoop中的用户作业在其整个生命周期中有5个状态，它们分别是：PREP、RUNNING、SUCCEEDED、FAILED、KILLED，而这其中的SUCCEEDED、FAILED、KILLED三个状态是互斥的，都可看做是Job的完成状态。当用户成功的提交了一个Job之后，这个Job就会进入PREP状态，然后这个Job的map启动任务会被首先交给一个TaskTracker节点来完成，当这个任务被成功执行之后，Job就会进入RUNNING状态，最后随着Job的map任务和reduce任务的完成状态，Job进入FAILED或SUCCEEDED或KILLED中的某一个状态，这个状态图如下：

当一个作业处于完成状态之后，JobTracker节点的任务调度器就不需要再考虑该Job了，也就是JobTracker需要把该Job从作业队列中删除。但是，JobTracker节点并不是马上就把与这个Job相关的信息删除掉，而是先把它缓存起来，同时建立一个用户与Job的映射，这个用户是指提交该作业的用户。至于JobTracker为什么会这么做，笔者目前也没有完全弄明白，推测可能与用户作业历史记录有关，也或者和集群的负载统计有关(如果有朋友知道这其中的原因可以@我)。当然这里可能有一个问题就是，JobTracker节点是否一直会缓存这些已完成Job的信息呢？实际上是不会的，因为JobTracker节点为每一个缓存的已完成Job信息设置了一个生命周期，当过了这个生命周期，这个缓存信息就会被清除掉。这个清理工作被设计成了JobTracker节点的一个组件——RetireJobs，这个RetireJobs作为JobTracker节点的后台线程，会定时的检测每一个缓存的已完成Job信息的生存时间是够已过期，如果过期了，他就会被清除。这个检查的间隔时间为RETIRE_JOB_CHECK_INTERVAL ms，默认值是60000，但也可通过配置文件来设置，对应的配置项为：mapred.jobtracker.retirejob.check。而每一个已完成Job信息的生存时间为RETIRE_JOB_INTERVAL ms，它的默认值24*60*60*1000，当然也可以通过配置文件来设置，对应的配置项为：mapred.jobtracker.retirejob.interval。这个过程的具体源码如下：

[java] view plaincopy

static final int MIN_TIME_BEFORE_RETIRE = 60000;
public void run() {
while (true) {
try {
Thread.sleep(RETIRE_JOB_CHECK_INTERVAL);
List<JobInProgress> retiredJobs = new ArrayList<JobInProgress>();
long now = System.currentTimeMillis();
long retireBefore = now - RETIRE_JOB_INTERVAL;
synchronized (jobs) {
for(JobInProgress job: jobs.values()) {
if (job.getStatus().getRunState() != JobStatus.RUNNING &&
job.getStatus().getRunState() != JobStatus.PREP &&
(job.getFinishTime() + MIN_TIME_BEFORE_RETIRE < now) &&
(job.getFinishTime() < retireBefore)) {
retiredJobs.add(job);
}
}
}
if (!retiredJobs.isEmpty()) {
synchronized (JobTracker.this) {
synchronized (jobs) {
synchronized (taskScheduler) {
for (JobInProgress job: retiredJobs) {
removeJobTasks(job);
jobs.remove(job.getProfile().getJobID());
for (JobInProgressListener l : jobInProgressListeners) {
l.jobRemoved(job);
}
String jobUser = job.getProfile().getUser();
synchronized (userToJobsMap) {
ArrayList<JobInProgress> userJobs = userToJobsMap.get(jobUser);
synchronized (userJobs) {
userJobs.remove(job);
}
if (userJobs.isEmpty()) {
userToJobsMap.remove(jobUser);
}
}
LOG.info("Retired job with id: '" + job.getProfile().getJobID() + "' of user '" + jobUser + "'");
// clean up job files from the local disk
JobHistory.JobInfo.cleanupJob(job.getProfile().getJobID());
}
}
}
}
}
} catch (InterruptedException t) {
break;
} catch (Throwable t) {
LOG.error("Error in retiring job:\n" + StringUtils.stringifyException(t));
}
}
LOG.debug("Job Retire Thread is to stop..");
}

但是，JobTracker节点的资源是有限的，如果某一个用户频繁的提交Job，那么这个用户对应的已完成Job信息缓存会占用大量的系统资源，所以JobTracker节点又设计了另一个检测机制，就是当一个作业完成时，它会判断这个Job对应的提交用户缓存的已完成Job信息的数量有没有达到一个阈值MAX_COMPLETE_USER_JOBS_IN_MEMORY，如果达到了这个阈值的话，就会删除他的所有缓存时间超过 MIN_TIME_BEFORE_RETIRE ms的已完成Job信息，直到这个用户缓存的已完成Job信息的数量下降到这个阈值。MAX_COMPLETE_USER_JOBS_IN_MEMORY可以通过配置文件来配置，对应的配置项为：mapred.jobtracker.completeuserjobs.maxinum，但它的默认值是100。

JobTracker节点后台线程之RetireJobs相关推荐

Asp.Net Core 轻松学-多线程之Task快速上手
Asp.Net Core 轻松学-多线程之Task快速上手原文:Asp.Net Core 轻松学-多线程之Task快速上手前言 Task是从 .NET Framework 4 开始引入的一 ...
Java多线程之volatile详解
Java多线程之volatile详解目录: 什么是volatile? JMM内存模型之可见性 volatile三大特性之一:保证可见性 volatile三大特性之二:不保证原子性 volatile三 ...
Android多线程之IntentService源码解析
想要了解 IntentService 的工作原理需要先对 Android 系统中以 Handler.Looper.MessageQueue 组成的异步消息处理机制以及 HandlerThread 有所 ...
iOS多线程之GCD小记
iOS多线程之GCD小记 iOS多线程方案简介从各种资料中了解到,iOS中目前有4套多线程的方案,分别是下列4中: 1.Pthreads 这是一套可以在很多操作系统上通用的多线程API,是基于C语言 ...
稳扎稳打Silverlight(25) - 2.0线程之Thread, Timer, BackgroundWorker, ThreadPool
[索引页] [源码下载] 稳扎稳打Silverlight(25) - 2.0线程之Thread, Timer, BackgroundWorker, ThreadPool 作者:webabcd 介绍 S ...
asp.Net Core 多线程之Task轻松学，快速上手
Asp.Net Core 轻松学-多线程之Task快速上手目录前言 1. Task 的使用方法 3. 处理 Task 中的异常 4. 同步上下文 5. Task 的运行方式 6. 有条件的 Tas ...
Android 多线程之IntentService 完全详解
转载请注明出处(万分感谢!): http://blog.csdn.net/javazejian/article/details/52426425 出自[zejian的博客] 关联文章: Android ...
Android多线程之ArrayBlockingQueue源码解析
阻塞队列系列 Android多线程之LinkedBlockingQueue源码解析 Android多线程之SynchronousQueue源码解析 Andorid多线程之DelayQueue源码分析 ...
JAVA多线程之wait/notify
本文主要学习JAVA多线程中的 wait()方法与 notify()/notifyAll()方法的用法. ①wait() 与 notify/notifyAll 方法必须在同步代码块中使用 ②wait ...

JobTracker节点后台线程之RetireJobs

JobTracker节点后台线程之RetireJobs相关推荐

最新文章

热门文章