Hadoop之Shell脚本自动启动

　　在用Hadoop进行大数据分析处理时，通常配置的服务器不止一两台。为了减少人工操作的重复性，所以hadoop提供了可以自动启动Hadoop集群的Shell脚本。在使用Shell脚本启动集群之前，需要进行相应的配置。

　　说明：$HADOOP_HOME=/root/project/hadoop（根据自己配置的路径不同而不同）

　　打开 $HADOOP_HOME/etc/hadoop/workers 文件，将集群中的所有机器的 hostname 都写到文件中。

　　分别打开 $HADOOP_HOME/sbin 目录下的 start-dfs.sh、stop-dfs.sh 文件，并在文件最前面添加以下代码：

#!/usr/bin/env bashHDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

　　分别打开 $HADOOP_HOME/sbin 目录下的 start-yarn.sh、stop-yarn.sh 文件，并在文件最前面添加以下代码：

　　#!/usr/bin/env bashYARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root

　　问题描述：配置完成Shell脚本后，启动集群报错一下信息：

　　hadoop start-dfs.sh Error: JAVA_HOME is not set and could not be found

　　解决办法：在文件 .bashrc 文件中添加以下代码：

    export JAVA_HOME=/root/project/jdkexport HADOOP_HOME=/root/project/hadoopexport PATH=.:$PATH:$JAVA_HOME/bin

转载于:https://www.cnblogs.com/zhangchao162/p/9709953.html

Hadoop之Shell脚本自动启动相关推荐

Android shell脚本自动启动app，关闭app，遇到crash自动停止
一.背景当应用发现app在启动的时候会出现问题,但是需要手动测试很多次才可以复现的问题,可以考虑写一个自动化测试脚本. 二.Android启动和关闭app命令 1.启动应用需要知道应用的包名和mai ...
linux shell脚本攻略_（python）Linux下shell脚本监控Tomcat的状态并实现自动启动步骤...
今天为大家带来的内容是:(python)Linux下shell脚本监控Tomcat的状态并实现自动启动步骤本文内容主要介绍了Linux下shell脚本监控Tomcat的状态并实现自动启动的步骤,文章 ...
zookeeper集群自动启动-关闭-查询的shell脚本
由于zookeeper启动需要在每台虚拟机都进行zkServer.sh start,很不方便,由此写个shell脚本来进行一个命令全部启动. 前提:配置好ssh免密登录,并且每台虚拟机都可以互通,没配 ...
第一章 Hadoop启动Shell启动脚本分析--基于hadoop-0.20.2-cdh3u1
我的新浪微博:http://weibo.com/freshairbrucewoo. 欢迎大家相互交流,共同提高技术. 第一章 Hadoop启动Shell启动脚本分析第一节 start-all.sh脚 ...
linux下开机自动启动，定时运行shell脚本
Shell 脚本与window/dos 下的批处理相似,也就是用各类命令预先放入一个文件中,方便一次性执行的的一个程序文件,主要是方便管理员进行设置或者管理用. 一.shell脚本在Linux下,我 ...
基于Hadoop的电商广告点击数的分析与可视化（Shell脚本执行与大屏可视化设计）
目录摘要大屏可视化预览如何安装Hadoop集群数据集介绍项目部署流程一键化配置环境和参数一键化建立hive数据表 Flume配置及自动加载数据到hive中数据分析 mysql接收数据表 ...
Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）
1. 修改配置进入 ${HADOOP_HOME}/etc/hadoop/ 目录下,修改以下配置: mapred-site.xml [root@tcloud ~]# vim /usr/local/ha ...
在shell脚本中如何调用hadoop 命令
我们在shell脚本中可能会用到hadoop或者其他命令,而这些命令可能是一个整体,如果我们只是简单的写入到shell脚本中,可能会被分解成其他的各个子字段,即有可能会分成两部分去执行,这样就会导致命 ...
shell脚本遍历redis集群所有节点日志，并入库到hadoop中，进行数据分析
shell脚本遍历redis集群所有节点,并入库到hadoop中的数据库中,进行数据分析,在此留存,以备他用 [AAAAAAnilRedis@FXYY-FS-redis2 ~]$ cat /home/ ...

Hadoop之Shell脚本自动启动

Hadoop之Shell脚本自动启动相关推荐

最新文章

热门文章