hadoop-集群管理（3）—

1. hadoop日志目录

默认存放在hadoop安装目录下的logs文件夹中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR变量来修改。一般建议修改默认值，使之独立于hadoop安装目录，这样便于以后的升级。

hadoop日志文件的名称格式为“hadoop-用户名-守护进程名-本地主机名.log”。例如“hadoop-tianyc-namenode-Route.log”就是我的hadoop集群中的一个日志文件。其中“用户名”部分对应hadoop-env.sh文件中的HADOOP_IDENT_STRING变量，可以通过修改该变量来修改日志文件中的用户名信息。

2. SSH设置

hadoop-env.sh文件中的HADOOP_SSH_OPTS变量可以向SSH传递很多选项，进行SSH的自定义。例如：

使用ConnectTimeout选项来设定减小连接超时，可以避免控制脚本长时间等待宕机节点的响应（当然，也不能设置得太低，使得繁忙节点被跳过）。
使用StrickHostKeyChecking选项设定为no，则会将新主机键加入已知主机文件中。该值默认为ask，不适合大型集群环境。

3. 使用rsync

通过rsync工具，hadoop控制脚本能够将配置文件分发到集群的各个节点中。默认该功能未启用，可以通过设置hadoop-env.sh中的HADOOP_MASTER变量启动。启用rsync后，当工作节点的守护进程启动后，会把以HADOOP_MASTER为根的目录树与本地的HADOOP_INSTALL目录同步。

4. 与rsync相关的变量

在大型集群中，若rsync已启用，则集群启动时所有工作节点几乎同时启动，且同时向主节点发出rsync请求，可能导致主节点瘫痪。这就需要设置hadoop-env.sh中的另一个变量：HADOOP_SLAVE_SLEEP，将它设置为一小段时间（例如0.1秒）。该变量度量为“秒”。

转载于:https://www.cnblogs.com/yuechaotian/archive/2013/03/08/2949688.html

hadoop-集群管理（3）——不常用参数相关推荐

Hadoop集群管理与NFS网关
目录一.Hadoop集群管理 1.访问集群文件系统 2.重新初始化集群 3.增加新的节点 4.修复节点 5.删除节点二.NFS网关 1.NFS网关概述 2.NFS网关架构图 3.HDFS用户授权 ...
从主机名谈Hadoop集群管理
本文出处:http://blog.csdn.net/chaijunkun/article/details/23283431,转载请注明.由于本人不定期会整理相关博文,会对相应内容作出完善.因此强烈建议 ...
第127讲：Hadoop集群管理之安全模式解析及动手实战学习笔记
第127讲:Hadoop集群管理之安全模式解析及动手实战学习笔记 hadoop在启动时namenode会把fsimage加载进内存,同时和edits内容合并,以此建立整个文件系统的元数据的镜像(内存级 ...
[转载]hadoop集群默认配置和常用配置
转载自 http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html, 向原作者致谢. 我基于最新版hadoop, 稍作了修改. 获 ...
运维利器-ClusterShell集群管理操作记录
在运维实战中,如果有若干台数据库服务器,想对这些服务器进行同等动作,比如查看它们当前的即时负载情况,查看它们的主机名,分发文件等等,这个时候该怎么办?一个个登陆服务器去操作,太傻帽了!写个shell去 ...
Hadoop详解(五)——ZooKeeper详解，ZooKeeper伪分布搭建和集群搭建，Hadoop集群搭建，sqoop工具的使用
ZooKeeper简介什么是ZooKeeper? ZooKeeper是Google的Chubby一个开源的实现,是Hadoop分布式协调服务. 它包含了一个简单的原语集,分布式应用程序可以基于它实现 ...
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
大数据Hadoop集群中常用的任务调度框架
在大数据的集群环境中,经常用到的任务调度框架有如下几个,根据公司的业务的需要选择适合自己的业务调度的框架, 调度框架anzkaban,crontab(Linux自带).zeus(Alibaba).Oo ...
使用HUE来管理hadoop集群
HUE Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db.hue提供所有的cdh组件的shell界面的接口.你可以在hue编写mr,查看修改hdfs ...
Hadoop中HDFS的Shell操作（开发重点）、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
文章目录 6.HDFS的Shell操作(开发重点) 6.1基本语法 6.2命令大全 6.3常用命令实操 6.3.1准备工作 6.3.1.1启动Hadoop集群(方便后续的测试) 6.3.1.2-hel ...

hadoop-集群管理（3）——不常用参数

hadoop-集群管理（3）——不常用参数相关推荐

最新文章

热门文章