MapReduce运行时出现java.lang.NoClassDefFoundError

最近在编写MapReduce程序时遇到了一个错误，错误提示信息为：

Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration

断断续续解决了好几天都没有解决，最终发现是由于我的Mapper中的setup()方法引用了HBase库的缘故，也即引用了第三方Jar包。于是上网搜索“MapReduce如何调用第三方jar包”，最终参考网友的方法得到解决。三种解决方案如下：

在你的java工程里建立一个lib文件夹，然后把所有引用到的第三方jar包放到里面，最后打包成Jar的时候把lib目录和class文件一块打包即可，hadoop会自动加载lib里面的jar。

还可以通过命令行配置实现，如：hadoop jar GIS.jar GIS.MapReduce.Test -libjars MapReduceLib/hbase-0.94.6.1.3.0.0-107-security.jar,zookeeper-3.4.5.1.3.0.0-107.jar

　　　参数“-libjars”的作用是上传本地jar包到HDFS中MapReduce临时目录并将其设置到map和reduce task的classpath中。

使用Hadoop的DistriubtedCache。详情参考：http://blog.csdn.net/evo_steven/article/details/14520567

转载于:https://www.cnblogs.com/maybob/p/3598179.html

MapReduce运行时出现java.lang.NoClassDefFoundError相关推荐

noclassdeffounderror java,从终端运行Java文件时出现java.lang.NoClassDefFoundError
我是Java新手.我一直在使用Eclipse测试一个简单的Java类(名为NewHelloWorld),它在控制台中运行良好.当我尝试从终端执行相同的操作时,它会正确编译(创建HelloWorld.c ...
FAQ：Springboot项目运行过程中java.lang.NoClassDefFoundError: ch/qos/logback/classic/spi/ThrowableProxy
原因是jar包在运行过程中因为要调试被我mvn package重新编译了,程序依赖的包变化导致运行时错误. 2019-07-18 17:01:59.913 DEBUG 21687 --- [0.0-7 ...
Android程序运行时出现java.lang.OutOfMemoryError 错误
写了一个用Paint和Canvas画图的类,画完之后将所画内容保存到手机sd卡上. 1>代码如下: package me.linkcube.taku.ui.share;import java.i ...
使用hibernate的validator时提示java.lang.NoClassDefFoundError: com/fasterxml/classmate/TypeResolver
异常提示缺少类,需要导入jar包: 需要导入hibernate中的classmate.jar即可
异常：java.lang.NoClassDefFoundError: net/sf/ezmorph/Morpher 解决办法
本地项目部署至Linux上时,运行后报错了 java.lang.NoClassDefFoundError: net/sf/ezmorph/Morpher 在网上找答案后,原来是json包少了, ...
scala java funtion1_当我在ScalaIDE中运行代码时,为什么要获取`java.lang.NoClassDefFoundError：scala / Function1`？...
这是一个简单的测试,我用来从 Java调用Scala方法: public static void main(String args[]) { java.util.Map> rec = news. ...
安卓4.4玩java_Android4.4运行过程中闪退java.lang.NoClassDefFoundError
上周五项目测试时发现一个奇怪的Bug,项目中依赖了一个第三方框架,但是在android4.0-4.4.4之间的系统中运行会直接闪退,抛出错误异常为java.lang.NoClassDefFoundEr ...
java 运行出现选择_Eclipse 运行出现java.lang.NoClassDefFoundError的解决方法
上篇博文也提到了这个问题,但没有深入的讲解.这次特意做了整理,详细解释其原因. 先看错误java.lang.NoClassDefFoundError,显然是java虚拟机找不到指定的类,多数情况下是外 ...
Intellij IDEA 导入或运行流式处理框架storm以及java.lang.NoClassDefFoundError报错的解决方案
网上有很多使用eclipse编辑storm的,但是我觉得eclipse界面不太友好,于是毅然使用intellij IDEA来编辑但是直接无脑导入会有各种各样奇葩的报错,于是我在解决了问题之后与大家分 ...

MapReduce运行时出现java.lang.NoClassDefFoundError

MapReduce运行时出现java.lang.NoClassDefFoundError相关推荐

最新文章

热门文章