Hadoop学习之MapReduce(五)

作业的提交和监控

Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括：

1. 检查作业的输入输出规范。

2. 计算作业InputSplit的值。

3. 如果必要，设置作业的DistributedCache 的必需计费信息。

4. 拷贝作业的jar文件和配置管理文件到MapReduce在文件系统的目录中。

5. 提交作业到JobTracker并可选地监控其状态。

作业的历史文件被记录到由hadoop.job.history.user.location 指定的目录中，默认值为作业的输出目录，文件被存储到指定目录下的_logs/history/中。因此，默认情况，历史文件将被存放在mapred.output.dir/_logs/history中。用户可以通过将hadoop.job.history.user.location的值设置为none阻止记录日志。

用户可以使用下面的命令浏览指定目录下的历史日志摘要：$ bin/hadoop job -history output-dir 。该命令将会打印作业的详细信息，失败和被杀死的作业的详细信息。更多关于作业的详细信息，比如成功的任务和每个任务的尝试次数可以以使用下面的命令浏览：$ bin/hadoop job -history all output-dir 。用户可以使用

Hadoop学习之MapReduce(五)相关推荐

Hadoop学习之MapReduce
Hadoop学习之MapReduce 目录 Hadoop学习之MapReduce 1 MapReduce简介 1.1 什么是MapReduce 1.2 MapReduce的作用 1.3 MapRedu ...
第三节 Hadoop学习案例——MapReduce课程设计好友推荐功能
提示:文章内容主要以案例为主目录前言项目说明一,程序需求 1.需求 2.数据二,编码操作 1.项目建包目录 2.FriendsRecommend.java 3.FriendsRecommen ...
Hadoop学习之MapReduce(三)
在学习过MapReduce框架的几个关键类和接口后(只是简单的说明了类或者接口的作用及使用方式,要想深入了解如何工作的就需要深入研究源代码了,这也是计划中的学习任务),接下来看看任务的执行和环境,主要 ...
Hadoop学习之Mapreduce执行过程详解
一.MapReduce执行过程 MapReduce运行时,首先通过Map读取HDFS中的数据,然后经过拆分,将每个文件中的每行数据分拆成键值对,最后输出作为Reduce的输入,大体执行流程如下图所示: ...
Hadoop学习之MapReduce(四)
接下来是跟MapReduce目录结构有关的参数.首先看两个参数,分别为在core-default.xml中定义的hadoop.tmp.dir,其默认值为/tmp/hadoop-${user.name} ...
Hadoop学习之MapReduce(二)
在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后,现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习.主要讲解Hadoop1.x中的接口和类,也就是o ...
Hadoop学习之MapReduce(一)
在学习过了HDFS架构和Hadoop的配置管理后,现在学习MapReduce应用程序的编写和管理.首先简单介绍一下MapReduce框架. MapReduce是一个易于编写程序的软件框架,这些应用程序 ...
Hadoop学习之MapReduce分布式计算框架
目录一.本地模式 1.新建一个本地maven项目 2.修改prom依赖(maven) 3.新建一个包mapreduce,在该包中新建三个包 4.写mapper组件 5.写Reducer组件 6.写D ...
Hadoop学习之路(五):Hadoop交互关系型数据库(MySQL)
内容简介一.Hadoop与数据库交互简介二.操作前的准备 1.创建表 2.将数据插入表words中 2.将MySQL的驱动分发到所有的Hadoop节点三.Hadoop与MySQL交互实现 1.创 ...

Hadoop学习之MapReduce(五)

Hadoop学习之MapReduce(五)相关推荐

最新文章

热门文章