IDEA 在hdfs中创建目录

原文地址

https://www.cnblogs.com/nan-qiu/p/11602529.html

1.先下载maven并配置好maven环境变量。之后在idea中配置好maven和tomcat

2.创建maven项目

在项目中的pom.xml中导入相应的依赖

<dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>RELEASE</version></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-core</artifactId><version>2.8.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.2</version></dependency><dependency><groupId>jdk.tools</groupId><artifactId>jdk.tools</artifactId><version>1.8</version><scope>system</scope><systemPath>${JAVA_HOME}/lib/tools.jar</systemPath></dependency>
</dependencies>

在项目中的src/main/resources目录下新建一个文件——log4j.properties

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

在项目中的src/main/目录下创建java文件夹，创建com.hadoop.demo包->HDFSClientDemo类

public class HDFSClientDemo {public static void main(String[] args) throws IOException, InterruptedException {//远程操作hadoop集群//获取文件系统Configuration conf = new Configuration();//设置集群配置信息，键值对 (因为在本机上没有配置host，所以"hdfs://hadoop161:9000"无法识别，需改成要操作的机子的ip地址)conf.set("fs.defaultFS","hdfs://192.168.12.161:9000");//拦截本机user用户然后改成集群上的hadoop用户System.setProperty("HADOOP_USER_NAME","hadoop");//获取HDFS客户端对象FileSystem fs = FileSystem.get(conf);//在hdfs上创建目录fs.mkdirs(new Path("/0300/abc"));//关闭资源（释放资源）fs.close();//验证程序是否结束System.out.println("over");}
}

3.hdfs上查看

我最开始的代码是

conf.set("fs.defaultFS","hdfs://hadoop62:9000");
//因为在本机上没有配置host，所以"hdfs://hadoop62:9000"无法识别，需改成要操作的机子的ip地址，否则是没有办法连接上hadoop集群的。

没有写

  //拦截本机user用户然后改成集群上的hadoop用户System.setProperty("HADOOP_USER_NAME","hadoop");

不写这个的话，就会出现用户是本机user用户（我的电脑是admin），这种情况

IDEA 在hdfs中创建目录相关推荐

hdfs中acl权限管理的简单实用
1.背景在我们开发的过程中有这么一种场景, /projectA 目录是 hadoopdeploy用户创建的,他对这个目录有wrx权限,同时这个目录属于supergroup,在这个组中的用户也具有这个 ...
【问题】HDFS中块（block）的大小为什么设置为128M？
一.为什么HDFS中块(block)不能设置太大,也不能设置太小? 如果块设置过大, 一方面,从磁盘传输数据的时间会明显大于寻址时间,导致程序在处理这块数据时,变得非常慢: 另一方面,mapreduc ...
三、HDFS中的Java和Python API接口连接
上次介绍了HDFS的简单操作,今天进入HDFS中的Java和Python的API操作,后面可能介绍Scala的相关的. 在讲Java API之前介绍一下使用的IDE--IntelliJ IDEA ,我 ...
HBase建表高级属性，hbase应用案例看行键设计，HBase和mapreduce结合，从Hbase中读取数据、分析，写入hdfs，从hdfs中读取数据写入Hbase，协处理器和二级索引
1. Hbase高级应用 1.1建表高级属性下面几个shell 命令在hbase操作中可以起到很到的作用,且主要体现在建表的过程中,看下面几个create 属性 1. BLOOMFILTER 默认是 ...
模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中
1.采集日志文件时一个很常见的现象采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中. 1.1.根据需求,首先定义一下3大要素: 采集源 ...
hdfs如何查找指定目录是否文件_在shell中如何判断HDFS中的文件目录是否存在
原标题:在shell中如何判断HDFS中的文件目录是否存在在Linux文件系统中,我们可以使用下面的Shell脚本判断某个文件是否存在: # 这里的-f参数判断$file是否存在 if[ ! -f ...
hdfs 多个文件合并_hadoop学习笔记3　hadoop程序将本地文件夹中多个文件，合并为一个文件并上传到hdfs中--梦飞翔的地方(梦翔天空)...
今天梦翔儿,成功实现hadoop编程,将本地文件夹中多个文件,合并为一个文件并上传到hdfs中直接上代码:PutMerge.java import java.io.IOException; impo ...
vmware虚拟机上的centos安装Hadoop,以及在本地eclipse上运行mapReduce项目，并将文件输出到HDFS中...
注意centos主机名不支持下划线,所以文章中若出现centos_02.com,请替换为 centos02.com vmware虚拟机上的centos安装Hadoop 安装vmware虚拟机虚拟机上 ...
elasticsearch备份与恢复4_使用ES-Hadoop将ES中的索引数据写入HDFS中
背景知识见链接:elasticsearch备份与恢复3_使用ES-Hadoop将HDFS数据写入Elasticsearch中项目参考<Elasticsearch集成Hadoop最佳实践> ...
【大数据作业02】HDFS中的名称节点和数据结点的具体功能
试述HDFS中的名称节点和数据结点的具体功能名称节点负责管理分布式文件系统的命名空间,记录每个文件中各个块所在的数据节点的位置信息: 数据节点是分布式文件系统HDFS的工作节点,负责数据的存储和读取 ...

IDEA 在hdfs中创建目录

IDEA 在hdfs中创建目录相关推荐

最新文章

热门文章