第一步新建一个maven 项目

第二步在pom文件中导入相应的依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><artifactId>bigdata</artifactId><groupId>org.hadoop.example</groupId><version>1.0-SNAPSHOT</version></parent><modelVersion>4.0.0</modelVersion><artifactId>example1_wordcount</artifactId><dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.8.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>3.2.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.2.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>3.2.2</version></dependency></dependencies><build><plugins><!--jdk编译插件--><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.0</version><configuration><source>1.8</source><target>1.8</target><encoding>utf-8</encoding></configuration></plugin></plugins></build></project>

第三步写一个hadoop程序

package org.hadoop.example.wordcount;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;/*** @author: * @date: 2022/12/16/15:50*/
public class Application {public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {Configuration conf=new Configuration();//加载配置项FileSystem fs = FileSystem.get(new URI("hdfs://localhost:9000/"), conf,"Administrator");//加载文件系统实例fs.mkdirs(new Path("/yqw"));//新建文件夹}
}

第三步查看目录是否创建成功

大数据开发之在idea中开发第一个hadoop程序相关推荐

萌新Java开发实战记录：大数据开发之”IP热力图、地点热门TopN（文章底部附源码）
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录一. 课程设计背景概述 1. <IP经纬热力图>概述 2. <电商分析系统>概述二.需求分析 1.&l ...
高效大数据开发之 bitmap 思想的应用
作者:xmxiong,PCG 运营开发工程师数据仓库的数据统计,可以归纳为三类:增量类.累计类.留存类.而累计类又分为历史至今的累计与最近一段时间内的累计(比如滚动月活跃天,滚动周活跃天,最近 N ...
大数据开发之Hive篇12-Hive正则表达式
备注: Hive 版本 2.1.1 文章目录一.Hive 正则表达式概述 1.1 字符集合: 1.2 边界集合: 1.3 重复次数集合: 1.4 组合操作符: 1.5 匹配操作符: 1.6 转义操作 ...
大数据开发之Hive优化篇8-Hive Job优化
备注: Hive 版本 2.1.1 文章目录 Hive job优化概述一.并行执行二.本地执行三.合并输入小文件四.合并输出小文件五.控制Map/Reduce数 5.1 控制Hive job ...
大数据开发之Hive篇14-Hive归档(Archiving)
备注: Hive 版本 2.1.1 文章目录一.Hive归档简介二.Hive 归档操作参考一.Hive归档简介由于HDFS的设计,文件系统中的文件数量直接影响namenode中的内存消耗.虽 ...
大数据开发之Sqoop详细介绍
备注: 测试环境 CDH 6.3.1 Sqoop 1.4.7 文章目录一.Sqoop概述二.Sqoop 工具概述三.Sqoon工具详解 3.1 codegen 3.2 create-hive-t ...
大数据开发之Hive篇8-Hive视图
备注: Hive 版本 2.1.1 文章目录一.Hive视图介绍二.视图案例 2.1 视图能够简化用户内的操作 2.2 视图使用户能以多种角度看待同一数据 2.3 视图对重构数据库提供了一定程度的 ...
大数据开发之windows安装hadoop教程
第一步安装JDK 第二步安装Hadoop 下载hadoop地址:http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 2. 下载ha ...
大数据开发之Hive篇15-Hive之hpl/sql编程
备注: Hive 版本 2.1.1 文章目录一. HPL/SQL概述二.HPL/SQL测试案例 2.1 测试执行简单sql 2.2 测试函数和循环 2.3 测试include套用存储过程 2.4 ...

大数据开发之在idea中开发第一个hadoop程序

第一步新建一个maven 项目

第二步在pom文件中导入相应的依赖

第三步写一个hadoop程序

第三步查看目录是否创建成功

大数据开发之在idea中开发第一个hadoop程序相关推荐

最新文章

热门文章

大数据开发之在idea中开发第一个hadoop程序

第一步 新建一个maven 项目

第二步 在pom文件中导入相应的依赖

第三步 写一个hadoop程序

第三步 查看目录是否创建成功

大数据开发之在idea中开发第一个hadoop程序相关推荐

最新文章

热门文章

第一步新建一个maven 项目

第二步在pom文件中导入相应的依赖

第三步写一个hadoop程序

第三步查看目录是否创建成功