在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包

使用maven可以很方便的管理我们项目的依赖，不需要手动去加载项目依赖的ja包，也方便项目的迁移，所以我选择使用 maven 来管理hadoop的开发环境的jar包。

maven官网

JDK版本的要求

Hadoop 2.7 以及之后的版本，需要JDK 7；
Hadoop 2.6 以及之前的版本，支持JDK 6；

最好按照官方的来，要不然可能会出现一些小的bug。。。

我配置的版本是hadoop 2.8.5 ，使用的jdk版本是 jdk8

对于Hadoop1.x.x版本，只需要引入1个jar：
hadoop-core

对于Hadoop2.x.x版本，需要引入4个jar：
hadoop-common
hadoop-hdfs
hadoop-mapreduce-client-core
hadoop-client

可以去mvn resipository 下载相关的 pom.xml 依赖、

地址：https://mvnrepository.com/

这里我整理了一份 maven pom.xml依赖部分的配置：

  <dependencies><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.8.5</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.8.5</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>2.8.5</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.8.5</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-api --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-yarn-api</artifactId><version>2.8.5</version></dependency><!-- jdk 使用idea 不需要配置这个--><!--<dependency>--><!--<groupId>jdk.tools</groupId>--><!--<artifactId>jdk.tools</artifactId>--><!--<version>1.8</version>--><!--<scope>system</scope>--><!--<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>--><!--</dependency>--></dependencies>

在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包相关推荐

eclipse配置python开发环境_Eclipse中配置python开发环境详解
Eclipse中配置python开发环境详解 1.下载python安装包.python-2.6.6.msi.并安装. 默认python会安装在C:\Python26下,查看环境变量,如果没有在path ...
sublime配置python开发环境_Sublime Text 配置Python3.7开发环境
知道Python的大名很久了,由于太懒没有去研究过.不知什么原因今天想去探究一下,和我用的.Net有何区别,满足一下自己的好奇心.由于以前就知道Python是什么,可以用来做什么,就没有去看Pytho ...
python开发环境的安装与配置_Python开发环境的安装配置
要学习Python,我们首先要安装配置好Python的运行环境. 那么安装Python 2 还是 Python 3 呢? 当然是要选择Python 3 .这里来教大家安装稳定版Python3 的版本是 ...
配置python开发环境搭建_Eclipse配置Python开发环境
正文首先我们需要明白一点 -- Eclipse 作为一个灰常优秀的开发工具,它可被用作 N 多语言的 IDE , 然而前提是我们需要安装对应的编译器或者解释器. 比如常见的 Java 开发,就必须 ...
vscode 配置javaweb开发环境,超级简单,纯新手带图,学会后真香.宇宙无敌第一编辑器vscode
vscode配置javaweb开发环境 1.vscode配置java环境 2.下载tomcat 在官网中下载https://tomcat.apache.org/download-10.cgi 3.下载 ...
Ubuntu 16.04下配置openWRT开发环境
Ubuntu 16.04下配置openWRT开发环境 1.配置openwrt开发环境,本实验室在ubuntu16.04系统下测试在编译之前我们先要搭建环境,ubuntu下OpenWrt编译环境需要安 ...
配置HADOOP开发环境
考虑到Windows平台尽管界面友好,但Hadoop环境配置较"怪异",需借助cygwin,这个过程并不优雅.正好我手上另有一套ubuntu环境,用着也很顺手,就在ubuntu中安 ...
java 工程新建ivy文件_Hadoop学习之路（八）在eclispe上搭建Hadoop开发环境
一.添加插件将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中二.在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的 ...
IDEA中配置hadoop开发环境
IDEA中整合hadoop开发环境前言: hadoop程序运行在分布式环境下,运行调试MapReduce只需要对应的hadoop相应的依赖jar包就可以,下面以是在伪分布模式下hadoop程序的开发 ...

在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包

在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包相关推荐

最新文章

热门文章