基于Maven管理的Mapreduce程序下载依赖包到LIB目录

1、Mapreduce程序需要打包作为作业提交到Hadoop集群环境运行，但是程序中有相关的依赖包，如果没有一起打包，会出现xxxxClass Not Found .

2、在pom.xml文件<dependencies>标签同级目录添加<build>标签。

<!-- 将依赖lib包导出 --><build><plugins><!-- 设置源文件编码方式 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><configuration><defaultLibBundleDir>lib</defaultLibBundleDir><source>1.6</source><target>1.6</target><encoding>UTF-8</encoding></configuration></plugin><!-- 拷贝依赖的jar包到lib目录 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-dependency-plugin</artifactId><executions><execution><id>copy</id><phase>package</phase><goals><goal>copy-dependencies</goal></goals> <configuration><outputDirectory>lib</outputDirectory></configuration></execution></executions></plugin><!-- 解决资源文件的编码问题 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-resources-plugin</artifactId><version>2.4</version><configuration><encoding>UTF-8</encoding></configuration></plugin></plugins> </build>

　3、在工程根目录下新建lib目录，依赖的第三方包都会从Maven仓库中心下载到lib目录中，对于Mapreduce程序来说的一个好处就是：工程打包为jar文件后，提交到Hadoop集群，Hadoop集群环境会自动读取lib目录中的jar文件，加载到作业运行环境中。

转载于:https://www.cnblogs.com/tmeily/p/4504420.html

基于Maven管理的Mapreduce程序下载依赖包到LIB目录相关推荐

IDEA+Maven运行调试MapReduce程序
IDEA+Maven运行调试MapReduce程序文章目录 IDEA+Maven运行调试MapReduce程序新建java类配置输入文件路径修改level参数添加Application配置 ...
Maven - Idea解决Maven下载依赖包速度慢问题
Maven - Idea解决Maven下载依赖包速度慢问题 1在这个地方加入 http://maven.aliyun.com/nexus/content/groups/public/ 2 把其他删除掉 ...
Maven 无法下载依赖包的解决方法---三步dao！！！
Maven 无法下载依赖包的解决方法---三步dao!!! 参考文章: (1)Maven 无法下载依赖包的解决方法---三步dao!!! (2)https://www.cnblogs.com/WLCY ...
Maven突然不从私服下载依赖了
好好地项目,突然不从私服下载依赖了,Maven踩坑 Maven突然不从私服下载依赖了 maven踩坑 , 好好地项目 , setting文件没动过 , 私服里也有自己想要的依赖, 可就是不去下载 , ...
Android Studio gradle下载依赖包失败的解决办法
Android Studio gradle下载依赖包失败的解决办法使用Android Studio在第一次导入项目或者配置完Kotlin后,会一直Build,因为需要下载一些项目中配置的依赖和gr ...
go mod依赖离线安装_go mod 无法自动下载依赖包的问题
go 11以后启用了go mod功能,用于管理依赖包. 当执行go mod init生成go.mod文件之后,golang在运行.编译项目的时候,都会检查依赖并下载依赖包. 在启动了go mod之后, ...
IDEA 下载依赖包源码报错 Cannot download sources Sources not found for:XXX
场景: IDEA 在使用某些类方法想看下源码具体是啥时,由于只有 class 反编译的类文件,没有原始 Java 文件,因此想要将源码下载下来,却报了一个错误 Cannot download sour ...
(Linux+IDEA+scala+sbt)sbt下载依赖包速度慢解决办法（亲测可用）
最近使用IDEA学习scala,下载了scala和sbt插件,发现sbt下载依赖包的速度非常那个慢,每次新建项目和build.sbt修改后同步sbt就特别慢,于是就上网找了各种解决办法,综合许多博主的 ...
Python 下载依赖包环境经常失败超时解决方法
Python 下载依赖包环境经常失败超时解决方法参考文章: (1)Python 下载依赖包环境经常失败超时解决方法 (2)https://www.cnblogs.com/boonya/p/11909 ...

基于Maven管理的Mapreduce程序下载依赖包到LIB目录

基于Maven管理的Mapreduce程序下载依赖包到LIB目录相关推荐

最新文章

热门文章