job全异常 mapreduce_eclipse 运行MapReduce程序错误异常汇总(解决Map not fount)
错误一:
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:742)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1980)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
... 8 more
问题分析:很烦人的一个问题,很久之前就碰见过,后来电脑linux换了一个版本,解决了
解决办法:eclipse添加hadoop配置文件问题,记住只需要在程序目录下新建一个conf的文件夹,把log4j.properties拷贝到该目录下,重启eclipse即可
错误二:
eclipse 运行MR提示无法访问的情况
问题分析:权限不足
解决办法:重新给hdfs文件系统赋予权限(可能会经常遇到这种问题,可执行同一种操作即可)bin/hdfs dfs -chmod -R 777 /
错误三:
HMaster启动之后立即又关闭
问题分析:可能是zookeeper不稳定造成的,
解决办法:停止zookeeper服务(bin/zkServer.sh stop zoo1.cfg bin/zkServer.sh stop zoo2.cfg bin/zkServer.sh stop zoo3.cfg ),再重新启动
错误四:
15/08/23 11:10:07 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001
Exception in thread "main" ExitCodeException exitCode=1:chmod: 无法访问"/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001": 没有那个文件或目录
问题分析:eclipse的配置文件缺少
解决办法:把配置hadoop时所修改的配置文件全部复制到src文件夹下
错误五:
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/thinkgamer/output already exists
问题分析:hdfs文件系统中的output文件夹已经存在
解决办法:删除即可(同时还可能出现找不到input目录的问题,此时注意检查input路径)
job全异常 mapreduce_eclipse 运行MapReduce程序错误异常汇总(解决Map not fount)相关推荐
- eclipse 运行MapReduce程序错误异常汇总(解决Map not fount)
错误一: Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$ ...
- Hadoop集群中运行MapReduce程序错误记录
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for ...
- 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
上篇介绍了使用命令行编译打包运行自己的MapReduce程序,使用 Eclipse 更加方便.要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-pl ...
- Hadoop+eclipse运行MapReduce程序
前面,我们已经通过eclipse下安装Hadoop的插件配置好了基于Hadoop+eclipse的MapReduce开发环境.现在,我们在这个Hadoop+eclipse环境下运行MapReduce程 ...
- linux系统运行MapReduce程序报错:exitCode 127
linux系统运行MapReduce程序报错:exitCode 127 hadoop mapreduce 出现 /bin/bash: /bin/java: No such file or direct ...
- XXX不是内部或外部命令,也不是可运行的程序或批处理文件的解决
XXX不是内部或外部命令,也不是可运行的程序或批处理文件的解决 通常我们都需要将某些工具添加到环境变量Path,以便在任意工作目录下都能调用.如果设置环境变量的时候出现了问题,就会显示"XX ...
- 'webpack-dev-server' 不是内部或外部命令,也不是可运行的程序 或批处理文件的解决方法(webpack热加载)
[README]webpack-dev-server 是一个支持热编译的服务器(动态编译) [1]问题 'webpack-dev-server' 不是内部或外部命令,也不是可运行的程序 或批处理文件的 ...
- “'react-scripts' 不是内部或外部命令,也不是可运行的程序或批处理文件。”解决方法
TRUFFLE框架下运行React app时报错"'react-scripts' 不是内部或外部命令,也不是可运行的程序或批处理文件."解决方法 使用truffle盒子react进 ...
- swagger生成错误问题 汇总解决
swagger生成错误问题 汇总解决 参考文章: (1)swagger生成错误问题 汇总解决 (2)https://www.cnblogs.com/llhhll/p/12010133.html 备忘一 ...
最新文章
- 【Qt】Qt容器总结
- oracle同时更新多列数据,ORACLE 11G 表联合更新多列
- python从入门到精通视频-python从入门到精通视频(大全60集)
- 傅里叶变换处理sar图像_SAR和ISAR雷达的基础知识
- 螺旋矩阵 java实现(待消化)
- 【Core Swagger】.NET Core中使用swagger
- leetcode 76 python
- html自动播放auto,为移动而生的 HTML 属性autocapitalize和autocorrect
- ionic4 引入外部字体ttf
- 数据库SQL语言从入门到精通--Part 1--SQL语言概述
- 升级AndroidX appcompat 1.2+版本导致多语言切换失败解决方案及问题分析
- jquery.blockui示例
- java订餐管理系统
- 万恶的火狐插件IE Tab Plus+引起的Superfish.com
- 一键美化python代码
- 【数据应用案例】Face2Face升级版——HeadOn
- 算法的浅论:算法前序
- MATLAB遗传算法工具箱安装包及安装方法(图解)
- sprite(雪碧图,也叫精灵图)
- unicode 生僻字_基于Unicode编码技术的地名生僻字库研究