解决Hadoop运行时遇到java.io.FileNotFoundException错误

报错信息：

java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:529)
Caused by: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)at org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:319)at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)at java.util.concurrent.FutureTask.run(Unknown Source)at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)at java.lang.Thread.run(Unknown Source)
Caused by: java.io.FileNotFoundException: G:/tmp/hadoop-Ferdinand%20Wang/mapred/local/localRunner/Ferdinand%20Wang/jobcache/job_local938878567_0001/attempt_local938878567_0001_m_000000_0/output/file.out.indexat org.apache.hadoop.fs.RawLocalFileSystem.open(RawLocalFileSystem.java:198)at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:766)at org.apache.hadoop.io.SecureIOUtils.openFSDataInputStream(SecureIOUtils.java:156)at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:70)at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:62)at org.apache.hadoop.mapred.SpillRecord.<init>(SpillRecord.java:57)at org.apache.hadoop.mapreduce.task.reduce.LocalFetcher.copyMapOutput(LocalFetcher.java:124)at org.apache.hadoop.mapreduce.task.reduce.LocalFetcher.doCopy(LocalFetcher.java:102)at org.apache.hadoop.mapreduce.task.reduce.LocalFetcher.run(LocalFetcher.java:85)

大概是说，reduce的过程失败了，错误发生在error in shuffle in localfetcher#1，是因为找不到在tmp/hadoop-username目录下的一个文件导致。

原因：

电脑用户名含有空格

G:/tmp/hadoop-Ferdinand%20Wang/mapred/local/localRunner/Ferdinand%20Wang/jobcache/job_local938878567_0001/attempt_local938878567_0001_m_000000_0/output/file.out.index

到具体目录看果然找不到这个文件，问题就出在这个%20其实是空格，但是这里不允许出现空格。所以我们要修改用户名称才能解决这个问题。
虽然之前在hadoop-env.cmd这个文件中修改了，用双引号的方式可以不出现空格可以让hadoop正常启动，但是治标不治本啊。还是修改一下用户名，改了以后这个就还是用username就可以。

@rem A string representing this instance of hadoop. %USERNAME% by default.
set HADOOP_IDENT_STRING=%USERNAME%

修改username的方法：

1、【win】+【R】快捷键调出运行；
2、输入netplwiz，再点击确定；

　　
3、打开用户账户，双击；　　
4、输入您想要改的名字；
5、点击右下角的【确定】按钮之后，弹出警告，点击【是】即可。
6、重启电脑。（一定要重启）
重新启动，发现新上传的这里也改了。

解决Hadoop运行时遇到java.io.FileNotFoundException错误相关推荐

Android程序运行时出现java.lang.OutOfMemoryError 错误
写了一个用Paint和Canvas画图的类,画完之后将所画内容保存到手机sd卡上. 1>代码如下: package me.linkcube.taku.ui.share;import java.i ...
java urlconn 下载慢_使用HttpURLConnection下载文件时出现 java.io.FileNotFoundException彻底解决办法...
import java.io.File; import java.io.IOException; import java.io.InputStream; import java.io.RandomAc ...
鸿蒙应用开发DevEco运行时出现java.io.IOException: Invalid keystore format
Failed to load signer "signer #1" java.io.IOException: Invalid keystore format 开发鸿蒙系统组件时新建 ...
解决org.springframework.amqp.AmqpIOException: java.io.IOException错误
今天安装好rabiitmq,创建了一个队列,进行测试发现报这个错误 Caused by: org.springframework.amqp.AmqpIOException: java.io.IOExc ...
java中url参数中有空格,tomcat下载文件时，URL含有文字参数与空格参数出错（java.io.FileNotFoundException错误）解决方法（转）...
像这个例子 URL="http://10.0.2.2:8080/AndroidServer/Music/陈奕迅 - 浮夸.mp3 "这样的URL就无法通过,所以在"陈奕 ...
sonarqube报错解决办法：Caused by: java.io.FileNotFoundException: /opt/sonar/temp/sharedmemory (权限不够)
ApkTool反编译出错brut.common.brutexception及java.io.filenotfoundexception 之一
反编译apk经常会遇到各种错误,smali文件出错还好,在错误信息里能看出大概哪里有了问题.但是xml文件里要是出错了就有点费劲了,很多时候抛出的错误信息是无法知道具体原因的.... 很多时候会抛出b ...
FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset 错误解决
错误现象 FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset ...
java.io.FileNotFoundException: D:\hadoop (拒绝访问。)
ps: 如果有任何问题可以评论留言,我看到后会及时解答,评论或关注,您的鼓励是我分享的最大动力转载请注明出处: https://blog.csdn.net/qq_40938301/article/d ...

解决Hadoop运行时遇到java.io.FileNotFoundException错误

报错信息：

原因：

修改username的方法：

解决Hadoop运行时遇到java.io.FileNotFoundException错误相关推荐

最新文章

热门文章