shell 进入hadoop_shell启动hadoop集群

原创，转载请注明。谢谢

shell启动hadoop集群

1：明确启动顺序

1)启动zookeeper集群(分别在centos 4-02，centos6-02，centos7-02)

app/zookeeper-3.4.5/bin/zkServer.sh start //启动进程

app/zookeeper-3.4.5/bin/zkServer.sh status //查看状态

2)启动journalnode(分别在centos 4-02，centos6-02，centos7-02)

app/hadoop-2.7.2/sbin/hadoop-daemon.sh start journalnode

3)格式化HDFS(centos4-01)

hdfs namenode -format

因为已经启动过了，所以不用格式化了。

4)启动HDFS(centos4-01)

app/hadoop-2.7.2/sbin/start-dfs.sh

5)启动YARN(centos7-01,centos8-01,只在centos7-01上启动)

app/hadoop-2.7.2/sbin/start-yarn.sh

6)其他都是datanode

app/hadoop-2.7.2/sbin/hadoop-daemon.sh start datanode

代码如下：

1 expect eof2 EOF3 done

5 echo "-------------------------start-namenode----------------------------"

6 app/hadoop-2.7.2/sbin/hadoop-daemon.shstart namenode7 ssh centos6-01 app/hadoop-2.7.2/sbin/hadoop-daemon.shstart namenode8

9 echo "------------------------start-YARN----------------------------"

10 ssh centos7-01 app/hadoop-2.7.2/sbin/start-yarn.sh

12 echo "------------------------start-datanode----------------------------"

13 whileread line14 do

15 ip=$line16 echo$line17 echo$ip18 /usr/bin/expect <

21 expect "*#"

22 send "exit\r"

23 interact24 expect eof25 EOF26 done

shell 进入hadoop_shell启动hadoop集群相关推荐

Hadoop中HDFS的Shell操作（开发重点）、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
文章目录 6.HDFS的Shell操作(开发重点) 6.1基本语法 6.2命令大全 6.3常用命令实操 6.3.1准备工作 6.3.1.1启动Hadoop集群(方便后续的测试) 6.3.1.2-hel ...
cdh搭建hadoop集群_Hadoop宿醉：使用Apache Whirr启动hadoop集群CDH4
cdh搭建hadoop集群这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的. 据说您可以在Whirr的帮助下在5分钟内启动一个集群! 当且仅当一切工作正常时,这才是正 ...
Hadoop宿醉：使用Apache Whirr启动hadoop集群CDH4
这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的. 据说您可以在Whirr的帮助下在5分钟内启动一个集群! 当且仅当一切正常时,这才是正确的! 希望本文在这方面对您有所 ...
启动hadoop集群报错ERROR: Cannot set priority of namenode process 2570
在格式化集群正常的情况下启动hadoop集群,但是却启动不起来,jps查看进程也是没有进程的: 查看log定位问题: [root@hadoop320_01 logs]# cat hadoop-root ...
启动hadoop集群意外发现主节点少了ResourceManger
可以通过查看日志文件寻找错误: 在日志文件中我们发现错误: Caused by: java.net.BindException: Problem binding to [westgis186:8031 ...
Hadoop集群搭建（九：各服务的启动）
1.查看Zookeeper服务状态,若集群中只有一个"leader"节点, 其余的均为"follower"节点,则集群的工作状态正常 $zkServer.sh ...
Hadoop集群启动、初体验
1．启动方式要启动Hadoop集群,需要启动HDFS和YARN两个集群. 注意:首次启动HDFS时,必须对其进行格式化操作.本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的. h ...
Hadoop集群启动时NameNode未启动解决方法
最近,我在学习搭建hadoop集群,可是搭建完成后当使用start-all.sh启动hadoop集群的时候,发现NameNode未启动,我经过反复查询发现是因为datanode的clusterID不匹 ...
Hadoop集群启动时,nameNode进程没有启动 :Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)解决方法
前言今天搭建Hadoop集群的最后,启动hadoop集群后,发现nameNode进程并没有启动,基于相信自己的原则,我一直认为我已经将生成的公钥添加到本地的认证文件中,排查了半天,最终还是选择,查看 ...

shell 进入hadoop_shell启动hadoop集群

shell 进入hadoop_shell启动hadoop集群相关推荐

最新文章

热门文章