问题

WIndows10 下Hadoop3.1.3使用IDEA本地调试wordcount出现如下错误

2021-03-05 11:11:41,311 WARN [org.apache.hadoop.mapred.LocalJobRunner] - job_local1291814541_0001
java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492)at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:559)
Caused by: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:377)at org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:347)at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515)at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)at java.base/java.lang.Thread.run(Thread.java:834)
Caused by: java.io.FileNotFoundException: File C:/tmp/hadoop-Tomas%20Wen/mapred/local/localRunner/Tomas%20Wen/jobcache/job_local1291814541_0001/attempt_local1291814541_0001_m_000000_0/output/file.out.index does not exist

各种搜索后发现错误是因为WIndows管理员用户名中带有空格，导致map完后存储时因为tmp路径带空格无法存入导致reducer在读取时FIleNotFind。

解决办法

控制面板–> 更改账户名称 --> 更改名称；此时只是更改了账户名字，cmd中的路径名字并没有改变
打开cmd，输入control userpassword2, 在弹出的窗口中点击属性，修改管理员用户名，点击确定
打开运行，输入regedit，回车。定位到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\ProfileList 。选中下面名字最长的项，双击右侧的ProfileImagePath，修改 C:\Users\ 后的用户名，点击确定。
注销后重新登录，打开C:\User\，将新的文件夹删除，再将老的文件夹更改为新用户名
再次注销并重新登录

wordcount程序中，输出文件夹中为空相关推荐

python中按照文件夹中文件的排列顺序读取文件内容，python文件显示和windows目录显示一致
原创 python中按照文件夹中文件的排列顺序读取文件内容 2018-12-06 11:49:18 途径北海道阅读数 3891 更多分类专栏: python 版权声明:本文为博主原创文章,遵循 C ...
hdfs 多个文件合并_hadoop学习笔记3　hadoop程序将本地文件夹中多个文件，合并为一个文件并上传到hdfs中--梦飞翔的地方(梦翔天空)...
今天梦翔儿,成功实现hadoop编程,将本地文件夹中多个文件,合并为一个文件并上传到hdfs中直接上代码:PutMerge.java import java.io.IOException; impo ...
angular的html引入js,在AngularJS中的文件夹中加载JavaScript和CSS文件
AngularJS不支持你想要的东西,但是你可以看看Grunt或Gulp等构建工具,它们可以让你"构建"你的应用程序.在您的情况下,这些工具可以查找CSS文件并将它们连接成一个文件 ...
python读取多个文件夹_如何从python中的文件夹中读取多个NetCDF文件
我试图绘制多年(1979-2014)的平均温度图,我唯一的问题是尝试从文件夹中读取多个NetCDF(.nc)文件.目前我的程序将绘制单个文件,但我不明白如何使其读取文件夹中的所有文件(每年一个).我想 ...
python中按照文件夹中文件的排列顺序读取文件内容
在处理数据的过程中,文件夹下的文件有时候按照一定的规律命名,按照要求,有时需要将文件夹中的文件按照原始的顺序读取:假设文件目录如图所示: 按照: base_path = r'E:\download\g ...
shell中获取文件夹中文件名
shell编程中常常需要遍历文件夹下的文件,获取名称进行进一步的处理,记录一下网上的常用方式,以便用到的时候查看. #!/bin/bash # get all filename in folderpa ...
ubuntu | 命令行中输出文件夹下的文件+输出某个后缀的文件+文件名作为参数运行py脚本
文章目录 1. 打印test_dir文件夹下所有文件名 2. 打印test_dir/*.txt的所有文件名 3. 打印文件夹下所有文件名称,不管后缀 4. 把文件名当做python脚本的入参运行脚本 ...
python如何读取txt文件-如何在python中读取文件夹中的txt文件列表
注意:我在答案的最后写了这些函数,所以请随意跳转到那个 – 但是为了更好地理解,我仍然希望逐个部分地运行代码. 将用于解释的示例方案假设您在此文件夹中有12个名为test的文件,其中10个是.txt ...
Linux中删除文件夹中所有文件或子文件夹
仅作参考 rm -rf 文件夹

wordcount程序中，输出文件夹中为空

ShuffleError: error in shuffle in localfetcher#1

问题

解决办法

wordcount程序中，输出文件夹中为空相关推荐

最新文章

热门文章