hadoop--HDFS搭建客户端API环境

前提：
搭建Maven环境==>
windows下hadoop-3.2.2的安装与配置==>

HDFS搭建客户端API环境：

1.在IDEA中创建一个Maven工程HDFSClient，
New Project-Maven-Next-Artifact Coordinates:

2.导入相应的依赖，打开pom.xml，在<dependencies></dependencies>中添加如下代码：

 <dependencies><!--hadoop依赖--><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.2.2</version></dependency><!--junit测试依赖--><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><!--log4j日志记录依赖--><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId><version>1.7.30</version></dependency></dependencies>

tips: 第一次安装的话需要联网下载哦~ 记得连wifi~

3.在项目的src/main/resources目录下，新建一个文件，命名为"log4j.properties",输入以下内容：

log4j.rootLogger=INFO,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

hadoop--HDFS搭建客户端API环境相关推荐

Hadoop : hdfs的客户端操作
hdfs的客户端操作 hdfs--分布式文件系统功能:帮用户管理文件机制:用户的文件会被切块后存储在多台Datanode服务器中,并且每个文件块都会在整个集群中存储多个副本.副本的数量可以由用户指定 ...
Hadoop HDFS 的 Java API 操作方式
想要使用Java API 的方式操作 Hadoop,尤其是hdfs(hadoop file system),必然需要引入jar包(jar包提供了丰富的API). 点中工程名, alt+enter,进入 ...
hadoop HDFS的文件夹创建、文件上传、文件下载、文件夹删除，文件更名、文件详细信息、文件类型判断（文件夹或者文件）
摘要: 本篇文章主要介绍的是hadoop hdfs的基础api的使用.包括Windows端依赖配置,Maven依赖配置.最后就是进行实际的操作,包括:获取远程hadoop hdfs连接,并对其进行的一 ...
Hadoop 平台搭建完整步骤
Hadoop 平台搭建完整步骤环境准备也可以用VMware. 创建三台虚拟机 hd-master.hd-node1.hd-node2 三台虚拟机服务器中的主机名(hostname)分别更改为mas ...
【收藏】HDFS的Java API使用
Hadoop HDFS的Java API使用 https://blog.csdn.net/u010416101/article/details/88984618
看完就能独自把集群搭起来！Hadoop HDFS完全分布式环境搭建以及技术详解
作者 | 慢慢变成大佬责编 | Carol 出品 | CSDN云计算(ID:CSDNcloud) 在文章开始之前,作者想要告诉大家:读懂本篇文章,能让小白快速入门,并且能够搭建完全分布式的集群,以及 ...
Hadoop HDFS完全分布式环境搭建以及技术详解（保证没接触过大数据的小白看完就能独自把集群搭起来，并对HDFS有详细的认知）
**读懂本篇文章,能让小白快速入门,并且能够搭建完全分布式的集群,以及能对hadoop hdfs产生详细的认知,对以后的学习有很大的帮助** 我们先来了解hadoop的hdfs基本概念,熟知基本概念, ...
HDFS常用命令和客户端API操作
注意 1)记得快照,快照,快照一下 ECS服务器怎么快照? ECS服务器搭建hadoop伪分布式_CBeann的博客-CSDN博客_宝塔部署hadoop 2)参考资料(视频)的问题上面网盘的视频, ...
hadoop高可用hdfs搭建（三节点）
hadoop高可用HDFS搭建(三节点) 一:准备工作本次搭建使用的hadoop版本是2.6.5,使用虚拟机准备三个干净的节点服务器,我们从零开始搭建.规范下三个节点的主机名分别是node003,n ...

hadoop--HDFS搭建客户端API环境

HDFS搭建客户端API环境：

hadoop--HDFS搭建客户端API环境相关推荐

最新文章

热门文章