hadoop集群常见问题

1.namenode启动不了：使用hadoop-daemon.sh start namenode也没用

查看日志：

（1）第一种可能是配置的文件路径不一致导致出错，删除掉core-site.xml中的tmp.dir配置，统一配置到hdfs-site.xml中。

（2）第二种是因为断电关机等原因系统删除了tmp文件中的name，使得namenode不能启动。

解决办法1：如果secondnamenode安装在了另一台机器，可以使用secondnamenode恢复：

第一步删除 namenode主节点的metadata配置目录：rm -fr /data/dfs/name

第二步从起机器，第三步使用hadoop namenode -importCheckpoint恢复

解决办法2：使用hadoop namenode -format格式化namenode所在的机器

2.Resourcemanager启动报错

starting Resourcemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-Resourcemanager-node2.out
Error: Could not find or load main class Resourcemanager

查看日志信息

Caused by: java.net.BindException: Problem binding to [node2:8031] java.net.BindException: 无法指定被请求的地址; For more details see:  http://wiki.apache.org/hadoop/BindException

解决办法:对于完全分布式集群必须要在安装Resourcemanager的机器上启动yarn

侵删！

参考：hadoop集群崩溃，因为tmp下/tmp/hadoop-hadoop/dfs/name文件误删除 - 代码王子 - 博客园

java.net.BindException: Problem binding to [hadoop103:8031] java.net.BindException - 与君共舞 - 博客园

hadoop集群常见问题相关推荐

Hadoop集群_Eclipse开发环境设置
1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0 ...
Hadoop集群环境搭建之伪分布式搭建流程
关防火墙 1.首先关闭window防火墙 service iptables status 查看Linux 防火墙状态 service iptables stop 关闭Linux防火墙 chkconfi ...
Hadoop入门（十二）Intellij IDEA远程向hadoop集群提交mapreduce作业
Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...
Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
linux把集群中所有机器关闭,Hadoop集群（第5期）_Hadoop安装配置
4.3 启动及验证 1)格式化HDFS文件系统在"Master.Hadoop"上使用普通用户hadoop进行操作.(备注:只需一次,下次启动不再需要格式化,只需 start-al ...
Apache hadoop集群安装的三种方式：本地、伪分布、完全分布
四 Hadoop运行模式 1)官方网址 (1)官方网站: http://hadoop.apache.org/ (2)各个版本归档库地址 https://archive.apache.org/dist/ ...
[ hadoop ] 集群性能调优全面总结
[ hadoop ] 集群性能调优全面总结_bone_ds的博客-CSDN博客_hadoop集群优化引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的 ...
docker 安装oracle_阿里云使用Docker搭建Hadoop集群
摘要吐血整理,搭建了两遍,亲测可用!!! 我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本.在搭建过程中踩了不少坑,本篇文章希望对大家有用 CentOS 7.7安装Docker 查看 ...
hadoop集群_Ambari搭建hadoop集群
Ambari搭建hadoop集群 Ambari提供了对Hadoop更加方便快捷的管理功能,主要包含: 通过一步一步的安装向导简化了集群供应. 预先配置好关键的运维指标(metrics),可以直接查看H ...

hadoop集群常见问题

hadoop集群常见问题相关推荐

最新文章

热门文章