Intellij IDEA 创建Hadoop开发工程

1. 将Centos 上搭建好的 Hadoop配置环境，打包传到 Windows 目录 D:\tools\hadoop

2. 下载 Hadoop 在 Window 上的相关库文件，并将相关文件复制到 D:\tools\hadoop-2.5.0\bin

如下图，将 hadoop.dll和winutile.exe放到hadoop的bin文件夹里.zip 放在 hadoop.xx/bin 目录下

3. Windows 需要配置Java环境。将 HADOOP_HOME\bin, HADOOP_HOME\sbin 相应的环境配置到 PATH上。

4. 启动 IntelliJ IDEA。创建一个 Maven 项目
// 这步只需一直 next，直到项目创建成功, 进入项目界面。

5. 打开 pom.xml

添加配置，配置完成后，会提示的是否配置下载环境的。点击Import Changes以更新依赖,或者点击Enable Auto Import。此时 Hadoop 的jar依赖完成

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.hsd.counter</groupId><artifactId>hdfs-api-exise</artifactId><version>1.0-SNAPSHOT</version><!-- 添加下述文件 --><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><hadoop.version>2.5.0</hadoop.version></properties><dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>${hadoop.version}</version></dependency></dependencies>
</project>

6. 将 D:\tools\hadoop-2.5.0\etc 下的相关文件复制添加到 resources 目录下。

7. 编写程序，开始验证

注：在连接 hadoop 时，会报 Permission denied，这个错误是由于 “本地程序需要访问：
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/moduels/hadoop-2.5.0/data/tmp</value>
</property>

”，而本地用户没有对应的权限（本地程序是本地用户，如window环境下，是window用户），所以需要更改权限
hadoop fs -chmod 777 /tmp -> (/opt/moduels/hadoop-2.5.0/data/tmp.）

/tmp 是服务器的根目录下的 tmp 目录

8. 配置 jar 包
1. 项目右键 -> Open module Settings, 如下图

2. 选择 Module，选定当前项目，点击 + 号，添加 jar 包。

3. 点击 + 号，选择 D:\tools\hadoop （windows 上的hadoop 目录，从centos 打包复制过来）
4. D:\tools\hadoop\share\hadoop\common 选择该路径下的所有目录，点击 ok。

5. 选择 Aritifacts，如果中框中没有任何内容，可以选择 + 号， jar -> from modules with dependencies
6. 配置 name， MainCLass，这里自动配置。

9. 当 jar 完成配置，即可以进行验证了。

使用HadoopIntellijPlugin-1.0.zip 插件来连接远程Hadoop

1. 打开 intelliJ, File -> settings -> Plugins --> HadoopIntellijPlugin-1.0

点击 ok 后, 会让你重启 intelliJ IDE. 在这个阶段会弹出一个对话框--"是否将默认是指导入到项目中", 点击 yes 或 "是"

2. 点击 Hadoop , 选择 "设置",

3. 在常规设置选项卡中, 基本上可以不用处理. 如果有需要, 可以定制化'语言'和'显示方式'

4. 在'系统连接信息设置'中, 需要先添加配置, 即点击 "+".

连接名称: 随意写.
HDFS: fs.defaultFS 写的地址, 本机即 node01 的地址.
端口: fs.defaultFS 写的端口.
用户名称: 当前可操作hadoop的用户名称即可.

core-site.xml的配置文件:
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:8020</value>
</property>

5. 点击测试.
如弹出'连接成功', 即ok.

Intellij IDEA 创建Hadoop开发工程相关推荐

【JAVA】使用IntelliJ IDEA创建Java控制台工程
1.File->New->Project 2.选择Java,下一步 3.模板有两个:Command Line App和Java Hello World,没有太大区别 4.命名: 5.结果: ...
大数据平台架构实战（二）IntelliJ IDEA搭建hadoop
IntelliJ IDEA 构建工程工具类开发,随便找,IntelliJ IDEA搭建Hadoop开发环境(下)_Captain.Y.的博客-CSDN博客生成jar包由于我们的开发环境和hado ...
【开发环境】Android 命令行中执行 Java 程序 ( IntelliJ IDEA 中创建 Java / Kotlin 工程 | dx 打包 DEX 字节码文件 | dalvikvm 命令 )
文章目录前言一.IntelliJ IDEA 中创建 Java / Kotlin 工程二.准备 Java 和 Kotlin 代码三.编译在 PC 上可执行的 Java / Kotlin JAR ...
App开发流程之创建项目和工程基本配置
我的开发环境为:Mac OS X EI Capitan(10.11.6),Xcode 7.3.1 首先说明一下这个项目的初衷,我并非要创建一个完整的上架应用,旨在创建一个可运行的,通用配置.架构,提供 ...
apache geode项目结构_使用IntelliJ IDEA+Maven 创建、开发、管理项目
前语:不要为了读文章而读文章,一定要带着问题来读文章,勤思考. 来源:http://1t.click/ag4d # 前言本篇开发环境 1.操作系统:Windows 10 X642.Java SDK: ...
JNI开发笔记(二)--创建JNI基础工程并运行
创建JNI基础工程并运行引 1. 创建JNI工程 2. 添加虚拟手机设备 3. 运行JNI基础工程引 JNI开发笔记(一)–Android Studio安装与环境搭建 1. 创建JNI工程 And ...
IDE工具(16) eclipse创建动态web工程搭建CMS开发环境(自动服务器tomcat)
CMS是什么? 内容管理系统:官网.博客... ( 前端页面+后台系统) 前端页面 --> 负责展示后台系统 --> 管理前台页面展示的内容先看看我们最后的整 ...
IDEA中配置hadoop开发环境
IDEA中整合hadoop开发环境前言: hadoop程序运行在分布式环境下,运行调试MapReduce只需要对应的hadoop相应的依赖jar包就可以,下面以是在伪分布模式下hadoop程序的开发 ...
配置HADOOP开发环境
考虑到Windows平台尽管界面友好,但Hadoop环境配置较"怪异",需借助cygwin,这个过程并不优雅.正好我手上另有一套ubuntu环境,用着也很顺手,就在ubuntu中安 ...
【Mybatisplus】创建Spring Boot工程打包错误解决方法
目录打包问题解决方法在文章末尾创建Spring Boot工程 a.初始化工程 b.引入依赖编写代码 a.配置application.yml 了解一下配置application.propertie ...

Intellij IDEA 创建Hadoop开发工程

Intellij IDEA 创建Hadoop开发工程相关推荐

最新文章

热门文章