mapreduce运行的bug收录

在8088端口可以看到日志文件（主要看error），操作如下：

1.window jdk版本最好和linux jdk 版本一致，不然容易出现莫名奇妙的bug

之前出现一个bug: UnsupportedClassVersionError: .......

就是版本错误引起的，花了好长的时间才搞定

2.当出现ClassNotFoundException 时，需要将src的文件export成jar包，在主函数加入代码如下：

3.如果出现 INFO mapreduce.Job: Job job_1398669840354_0003 failed with state FAILED due to:

Application application_1398669840354_0003 failed 2 times due to AM Container for appattempt_1398669840354_0003_000002 exited with exitCode: 1

due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: .......

是mapred-default.xml，yarn-default.xml 没加如下参数（在最后添加即可）：

<property><name>mapreduce.application.classpath</name><value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value>
</property>

（这两个文件分别在hadoop-mapreduce-client-core-2.8.5.jar，hadoop-yarn-api-2.8.5.jar 中）

注：得先将这两个jar包remove bulid Path ,然后才能修改 .xml文件

注：！！！如果你在eclipse启动mapreduce,则改window的jar包，在linux机则改hadoop的mapred-site.xml和yarn-site.xml文件

4.若出现AccessContorlException:Permisson denied:.........

应该是用户权限问题，加入如下代码:

//1.设置yarn处理数据时的userSystem.setProperty("HADOOP_USER_NAME","root");

5.如出现ExitCodeException：exit code =1 : /bin/bash .........

是因为Job 任务是在window提交的，而接受方是yarn,编辑脚本命令时是以window为标准，所以运行脚本命令时就出错了

加如下代码：

//4.跨平台提交时，需要加这个参数conf.set("mapreduce.app-submission.cross-platform", "true");

转载于:https://www.cnblogs.com/ldy233/p/11479678.html

mapreduce运行的bug收录相关推荐

hadoop使用mapreduce统计词频_hadoop利用mapreduce运行词频统计（非例程）
1.运行环境 1.Ubuntu16.04单系统 2.hadoop-3.2.1 2.操作步骤 1.使用eclipse编写map reduce run 函数 2.导出jar包 3.将需要进行词频统计的文件 ...
MapReduce运行原理和过程
一．Map的原理和运行流程 Map的输入数据源是多种多样的,我们使用hdfs作为数据源.文件在hdfs上是以block(块,Hdfs上的存储单元)为单位进行存储的. 1.分片我们将这一个个block ...
MapReduce运行机制-Reduce阶段
ReduceTask 工作机制和 ReduceTask 并行度 Reduce 大致分为 copy.sort.reduce 三个阶段,重点在前两个阶段.copy 阶段包含一个 eventFetcher ...
MapReduce运行机制-Map阶段
MapTask 运行机制整个Map阶段流程大体如上图所示. 简单概述:inputFile通过split被逻辑切分为多个split文件,通过Record按行读取内容给map(用户自己实现的)进行处理, ...
MapReduce运行机制
相关链接 MapReduce中Shuffle机制详解--Map端Shuffle链接 MapReduce中Shuffle机制详解--Reduce端Shuffle链接 MapReduce将作业job的 ...
Mapreduce运行过程分析(基于Hadoop2.4)——(三)
4.4 Reduce类 4.4.1 Reduce介绍整完了Map,接下来就是Reduce了.YarnChild.main()->ReduceTask.run().ReduceTask.run方 ...
MapReduce 运行机制
Hadoop 中的MapReduce是一个使用简单的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错式并行处理TB级别的数据集. 一个MapReduce作业 ...
MapReduce 运行原理（万字长篇原理 + 案例）
所有实例都是在本地环境下测试的,无需启动集群! 版本说明: idea:2021.2.2 jdk:1.8 maven:3.8.2(用idea自带的也行) 1. MapReduce 框架原理运行大致步骤 ...
MapReduce运行时出现java.lang.NoClassDefFoundError
最近在编写MapReduce程序时遇到了一个错误,错误提示信息为: Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.H ...

mapreduce运行的bug收录

mapreduce运行的bug收录相关推荐

最新文章

热门文章