Hadoop学习之Hadoop集群的定制配置（二）

除了上篇博客介绍的管理hadoop后台进程的参数外，还有其它一些参数或者功能用于管理hadoop的运行方式，比如任务的启动与控制、TaskTracker节点的监控等。

先看看hadoop的任务控制器。任务控制器是MapReduce框架中定义用户的map和reduce任务如何启动和控制的一些类。任务控制器可以在要求定制用户任务的启动过程或者控制过程的集群中使用，比如，在某些集群中，可能要求以提交作业的用户运行任务，而不是作为任务跟踪器用户，后者是任务如何启动的默认方式。在hadoop中有两个任务控制器可以使用，它们是DefaultTaskController和LinuxTaskController，对应的类分别为org.apache.hadoop.mapred.DefaultTaskController和是org.apache.hadoop.mapred.LinuxTaskController。DefaultTaskController是Hadoop中的默认任务控制器，任务作为任务追踪器用户运行。LinuxTaskController作为提交作业的用户运行任务，只被Linux支持，要求用户账号在任务启动的集群节点上被创建。LinuxTaskController使用包含在Hadoop版本中的setuid可执行文件，TaskTracker使用该可执行文件启动和杀死任务。该setuid可执行文件切换到提交作业的用户启动或者杀死任务。为了最大的安全性，该任务控制器建立了受限制的访问权限和被任务使用的本地文件和目录的用户/组所有权，这些文件诸如作业的jar文件，中间文件，任务日志文件和分布式缓存文件。需要注意的是，除了作业的拥有者和TaskTracker，其它用户都不能访问任何本地文件和目录，包括那些本地化为分布式缓存一部分的文件和目录。

任务控制器可以在m

Hadoop学习之Hadoop集群的定制配置（二）相关推荐

Hadoop学习之Hadoop集群的定制配置（一）
之前已经在七台物理机上以全分布模式安装了Hadoop集群,除了制动NameNode.JobTracker.DataNode.TaskTracker及相关的端口号外,并没有对集群配置做进一步的设定,都保 ...
大数据之-Hadoop完全分布式_集群中SSH配置_远程免密码登录_为集群_群起做准备---大数据之hadoop工作笔记0036
之前我们做集群配置的时候,去连接,别的主机,都需要输入这个主机的密码,很麻烦,做分发的时候,还得多次输入不同主机的密码,是相当麻烦现在我们通过配置SSH来实现,主机之间的免密码登录可以看到hado ...
hadoop 1.0.1集群安装及配置
1.hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/ 2.下载java6软件包,分别在三台安装 3.三台虚拟机,一台作为mast ...
Hadoop搭建完全分布式集群
Hadoop搭建完全分布式集群搭建准备配置ssh和编写一个分发shell脚本 java和hadoop 运行测试最近公司事情不是很多,趁此机会,学习一下大数据的内容,正好公司之后也要使用大数据方面 ...
hadoop 2.4.1 集群安装一
配置主机名参考 Hadoop 1.2.1 集群安装一配置JDK环境参考Hadoop1.2.1集群安装二配置hadoop A:下载解压hadoop http://mirrors.cnnic.cn/a ...
【联邦学习】FATE 集群部署 step2
[联邦学习]FATE 集群部署step1 [联邦学习]FATE 集群部署step3 配置虚拟机网络配置虚拟机镜像 all 指的是2个虚拟机都要操作 f1 只的是1号虚拟机 f2 指的是2号虚拟机配 ...
hadoop小型集群_小型Hadoop集群的Ganglia配置和一些故障排除
hadoop小型集群 Ganglia是一个针对大型集群的开源,可扩展且分布式的监视系统. 它收集,汇总并提供数十种与计算机相关的指标(例如CPU,内存,存储,网络使用情况)的时序视图. 您可以在UC ...
小型Hadoop集群的Ganglia配置和一些故障排除
Ganglia是一个针对大型集群的开源,可扩展且分布式的监视系统. 它收集,汇总并提供数十种与计算机相关的指标(例如CPU,内存,存储,网络使用情况)的时序视图. 您可以在UC Berkeley Gr ...
Hadoop架构中各个集群在开发中的作用
学习大数据,如果只是零零散散地学习各个模块,就会深陷其中,很难深入了解hadoop架构中各个集群的作用.那么在实际开发中,究竟是怎样的一个流程呢?先看下面一张流程图: 接下来就用一些大白话,来讲解每个 ...

Hadoop学习之Hadoop集群的定制配置（二）

Hadoop学习之Hadoop集群的定制配置（二）相关推荐

最新文章

热门文章