在此之前:先进行在IDEA 中为Maven 配置阿里云镜像源

1、将资料包中的压缩包解压到一个没有中文的目录下

2、配置HADOOP_HOME环境变量

3、配置Path环境变量

4、创建一个Maven工程HDFSClientDemo

5、在pom.xml中添加依赖

<dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.8.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.2</version></dependency><dependency><groupId>jdk.tools</groupId><artifactId>jdk.tools</artifactId><version>1.8</version><scope>system</scope><systemPath>${JAVA_HOME}/lib/tools.jar</systemPath></dependency>
</dependencies>

需要在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

包的结构如图:

测试代码:HDFSClient的代码为:

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;public class HDFSClient {public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {Configuration conf = new Configuration();//conf.set("fs.defaultFS","hdfs://hadoop131:9000");// 1 获取hdfs客户端对象FileSystem fs = FileSystem.get(new URI("hdfs://192.168.223.101:9000"),conf,"zzz");// 2 在hdfs上创建路径fs.mkdirs(new Path("/test/zzz"));// 3 关闭fs.close();System.out.println("over");}
}

如果在运行之后,可以正常执行命令,但是会发出警告,

可以参考博客:https://blog.csdn.net/weixin_42183401/article/details/104297407

全部修改好之后,可以正常运行,

IDEA HDFS客户端准备相关推荐

  1. 【Hadoop】HDFS客户端开发示例

    1.原理.步骤 2.HDFS客户端示例代码 package com.ares.hadoop.hdfs;import java.io.FileInputStream; import java.io.Fi ...

  2. 解决方案:外域HDFS客户端访问内网HDFS datanode

    外域HDFS客户端访问内网HDFS datanode 客户端机器报错 外域机器通信需要用外网ip,未配置hostname访问会访问异常,namenode return hosts to hadoop ...

  3. HDFS的API调用,创建Maven工程,创建一个非Maven工程,HDFS客户端操作数据代码示例,文件方式操作和流式操作

    1. HDFS的java操作 hdfs在生产应用中主要是客户端的开发,其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件 1.1 ...

  4. hdfs客户端的学习理解

    对hdfs客户端的理解 (1)该客户端的形式有多种 a.网页形式 b. 命令行形式 c.客户端在哪儿运行,都可以,只要该客户端可以和集群联网就行 (2)文件的切块大小和存储的副本数量,都是由客户端决定 ...

  5. Hadoop-JAVA编写HDFS客户端进行HDFS操作

    HDFS客户端操作 环境准备 根据电脑操作系统将对应的编译后的jar包放到非中文路径下,我的是Linux因此将Linux编译后的jar放到指定目录下/home/lxj/workspace/hadoop ...

  6. 使用HDFS客户端java api读取hadoop集群上的信息

    本文介绍使用hdfs java api的配置方法. 1.先解决依赖,pom <dependency><groupId>org.apache.hadoop</groupId ...

  7. HDFS客户端的权限错误:Permission denied

    搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在操作的过程中出出了如下的认证错误,被折磨了几 ...

  8. HDFS源码解析:教你用HDFS客户端写数据

    摘要:终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作,也算是一个好的开端. 本文分享自华为云社区<hdfs源码解析之客户端写数据>,作者: dayu_dls. 在我们客户端写数据 ...

  9. HDFS客户端的权限错误:Permission denied: user=Administrator, access=WRITE,....

    错误的详细描述如下: org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessCont ...

最新文章

  1. boost::container模块实现检查相等的容器的测试程序
  2. Cheetah 15K.7 ST3600057SS读写慢
  3. Js控制弹窗实现在任意分辨率下居中显示
  4. AC_Dream 1224 Robbers(贪心)
  5. SQL Server存储过程基本语法
  6. 单链表的插入删除以及逆转
  7. 自动运维化tools篇1:用expect完成用户密码的批量修改
  8. yum 安装mysql 5.0_CentOS 通过 yum 安装 Mysql 5.0
  9. 最小树形图(bzoj 4349: 最小树形图 2260: 商店购物)
  10. CCF推荐国际学术会议与学术期刊
  11. 小爱音箱mini系统故障怎么办_Win7系统连接小爱音箱mini的方法【图文】
  12. 广州科二化龙考场_广州市机动车驾驶人化龙考场交通路线攻略
  13. 什么是僵尸进程(Zombie)?
  14. 一篇关于程序员的文章
  15. 关于电解电容ESR的问题
  16. 一些常用软件镜像地址
  17. Intel Cyclone 10 GX 收发器的时钟网络
  18. 软件测试-面试题(基础+性能)
  19. 如何将图片变成png格式?怎样在线转图片格式?
  20. Word如何对齐冒号,想把几行的冒号对齐该怎么设置?

热门文章

  1. <软件过程与改进>计算大题考点总结与例题
  2. web前端培训:本期教程CSS 三大特性
  3. matlab 职坐标,机器学习入门之机器学习实战ByMatlab(四)二分K-means算法
  4. maven学习(4)-Maven 构建Web 项目
  5. IOS -- base64编码
  6. 文件上传的渐进式增强
  7. 微软职位内部推荐-Sr SDE for Win Apps Ecosystem
  8. Java 基础【04】Swing 组件事件注册
  9. 配置导出MOSS2010列表数据到Excel并根据列表记录自动刷新数据
  10. 10个角度分析软件工程师应该知道的100件事