Hadoop hdfs上传文件报错解决

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。

无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。

报错命令：

该错误产生的原因：
NameNode和DataNode的namespaceID不一致，这个错误是很多人在安装时会遇到的
查看日志信息为：
java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:
NameNode namespaceID = 1201462299; DataNode namespaceID = 389958745

hadoop 多次格式化format namenode 导致节点不能启动解决，出现这个问题的原因是多次格式化会导致节点的clusterID不一致

解决方法：

先停止所有启动的服务
切换到hadoop的目录下

cd /usr/local/hadoop/sbin/stop-all.sh

删除core-site.xml 文件中配置的文件夹：注意如果集群操作则需要在每个机器上都要进行

rm -r /usr/local/hadoop/tmp

如果还没有成功还可以进入hdfs文件夹下，删除name和data文件夹命令和上面的一样

重新格式化

./bin/hdfs namenode -format

启动服务

./sbin/start-dfs.sh

下面这两种方法在实际应用中也可能会用到。

1）重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。
在坏死的节点上输入如下命令即可：
bin/Hadoop-daemon.sh start DataNode
bin/Hadoop-daemon.sh start jobtracker

2）动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
bin/Hadoop-daemon.sh --config ./conf start DataNode
bin/Hadoop-daemon.sh --config ./conf start tasktracker

Hadoop hdfs上传文件报错解决相关推荐

HDFS上传文件报错java.lang.InterruptedException
使用hdfs上传文件时报错, java.lang.InterruptedExceptionat java.lang.Object.wait(Native Method)at java.lang.Thr ...
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f7765696861686168616861686861 ...
上传文件报错500或者文件大于2M上传不上去解决方法
上传文件报错500或者文件大于2M上传不上去解决方法参考文章: (1)上传文件报错500或者文件大于2M上传不上去解决方法 (2)https://www.cnblogs.com/sillong/p/ ...
ajax上传文件报错The current request is not a multipart request的解决办法
ajax上传文件报错The current request is not a multipart request的解决办法主要报错语句为: The current request is not a ...
Linux - xshell上传文件报错乱码
xshell上传文件报错乱码,解决方法 rz -be 回车下载sz filename 转载于:https://www.cnblogs.com/RzCong/p/8600899.html
金蝶中间件上传文件报错
金蝶中间件上传文件报错上传文件报错,见下图:allowCasualMultipartParsing is false,no MultipartConfig,so no parse! 解决办法: 在w ...
Spring MVC实现上传文件报错解决方案
Spring MVC实现上传文件报错解决方案参考文章: (1)Spring MVC实现上传文件报错解决方案 (2)https://www.cnblogs.com/liuling/p/2014-3-5 ...
laravel上传文件报错：413 Request Entity Too Large
上传图片的时候,是用laravel自带的上传图片的方法,一下气上传了20张,结果就无情报错: 413 Request Entity Too Large,后面查一下,这个报错信息是nginx报的错误,不 ...
Jenkins使用FTP上传文件报错问题处理
Jenkins带有Publish over FTP插件,安装后并使用它就能实现FTP上传,可以用于构建后的发包操作.我们在系统管理中配置好FTP Servers后,并测试连接通过,按理在Job配置中用 ...

Hadoop hdfs上传文件报错解决

Hadoop hdfs上传文件报错解决相关推荐

最新文章

热门文章