关闭集群时出现no resourcemanager to stop、no nodemanager to stop、no namenode to stop、no datanode to stop

关闭集群时出现no resourcemanager to stop、no nodemanager to stop、no namenode to stop、no datanode to stop，但是相关进程都真实存在，并且可用。

原因：

当启动的时候如果没有指定pid的存放位置，hadoop(hbase也是这样)默认会放在Linux的/tmp目录下，进程名命名规则一般是框架名-用户名-角色名.pid,而默认情况下/tmp里面的东西，一天会删除一次（也可以自行指定删除时间，tmpwatch），由于pid不存在，当执行stop相关命令的时候找不到pid，也就无法停止相关进程，所以报no xxx to stop。

【

tmpwatch的安装

tmpwatch 是专门用于解决“删除 xxx天没有被访问/修改过的文件”这样需求的命令。

直接在线安装：

[root@node01 ~]# yum install tmpwatch.x86_64

比如自己设置30天：清除/tmp目录下30天没有被访问的文件

[root@node01 ~]# tmpwatch --atime 30d /tmp

】

解决方法：

方法一：（使用系统默认进程存放目录 /tmp）

kill pid 尽量使用这种方式，比较稳妥。实在不行再 kill -9 pid，因为这种方式粗暴，有时候会抛出java虚拟机错误。

进程全部kill后，再重启集群即可。只是有一点，就是集群如果运行长时间后（比如好几天或几个月，甚至几年），如果再想关集群，就还得kill进程。

方法二：（使用自定义进程存放目录）

杀死进程后，修改配置文件。

1、修改hadoop-env.sh，如果没有相关配置，可以直接添加
export HADOOP_PID_DIR=/opt/module/hadoop/pidDir
export HADOOP_SECURE_DN_PID_DIR=/opt/module/hadoop/pidDir
上述配置，影响
　　NameNode
　　DataNode
　　SecondaryNameNode
进程pid存储

2、修改mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/opt/module/hadoop/pidDir
上述配置，影响
　　JobHistoryServer
进程pid存储

3、修改yarn-env.sh
export YARN_PID_DIR=/opt/module/hadoop/pidDir
上述配置，影响
　　NodeManager
　　ResourceManager
进程pid存储

4、以上配置好后，启动hdfs和yarn，启动成功后首先jps查看，5个进程都在，然后cd /opt/module/hadoop/pidDir目录下，有如下文件：
hadoop-hadoop-datanode.pid
hadoop-hadoop-namenode.pid
hadoop-hadoop-secondarynamenode.pid
yarn-hadoop-nodemanager.pid
yarn-hadoop-resourcemanager.pid

关闭集群时出现no resourcemanager to stop、no nodemanager to stop、no namenode to stop、no datanode to stop相关推荐

HBase: HMaster服务自动停止，且关闭集群时HRegionserver无法关闭的问题解决
先说废话,这是半个多月之前遇到的问题了,趁历史记录还找得到赶快记一下背景:三台阿里云Ubuntu服务器,Hadoop(2.6.5)完全分布式搭建,Zookeeper(3.4.10),HBase(1. ...
redis ps、kill 一次性关闭集群
ps -ef |grep redis |awk '{print $2}'|xargs kill -9
关于使用华为云搭建Hadoop集群，在关闭ResourceManager时出现WARNING: nodemanager did not stop gracefully after 5 seconds
关于使用华为云搭建Hadoop集群,在关闭ResourceManager时出现WARNING: nodemanager did not stop gracefully after 5 seconds: ...
web集群时session同步的3种方法
web集群时session同步的3种方法在做了web集群后,你肯定会首先考虑session同步问题,因为通过负载均衡后,同一个IP访问同一个页面会被分配到不同的服务器上,如果session不同步的话 ...
[转载]web集群时利用memcache来同步session
web集群时session同步的3种方法在做了web集群后,你肯定会首先考虑session同步问题,因为通过负载均衡后,同一个IP访问同一个页面会被分配到不同的服务器上,如果session不同步的话 ...
redis cluster 设置密码做集群时gem下client.rb文件修改
redis cluster 设置密码做集群时gem下client.rb文件修改来源 https://www.cnblogs.com/shihaiming/p/5949772.html redis节点 ...
使用sealos安装K8S集群时，需确保节点的swap是关闭的
使用sealos安装K8S集群时,需确保节点的swap是关闭的,否则会安装失败
使用kubectl访问Kubernetes集群时的身份验证和授权
全栈工程师开发手册 (作者:栾鹏) 架构系列文章 kubectl是日常访问和管理Kubernetes集群最为常用的工具. 当我们使用kubeadm成功引导启动(init)一个Kubernetes集群的 ...
PXC 避免加入集群时发生SST
环境现有集群节点: 192.168.99.210:3101 新加入节点: 192.168.99.211:3101 通过xtrabackup备份还原实例,并通过同步方式追数据: 已有节点情况: roo ...

关闭集群时出现no resourcemanager to stop、no nodemanager to stop、no namenode to stop、no datanode to stop

关闭集群时出现no resourcemanager to stop、no nodemanager to stop、no namenode to stop、no datanode to stop相关推荐

最新文章

热门文章