hadoop-fs.defaultFS

在java代码中配置hadoop需要调用 conf.set方法。此方法中要求传入name和value

//源码public void set(String name, String value) {set(name, value, null);}
//配置代码Configuration conf = new Configuration();conf.set("fs:defaultFS","hdfs://node01:8020");

此name和value实际上在 core-site.xml中设置

 <property><name>fs.defaultFS</name><value>hdfs://node01:8020</value></property>

官网中解释如下：

简单的理解就是：这个value是默认文件系统的名称。是一个用来确认主机名和端口的URI。

node01的地方可以直接写IP，也可以写这种容易理解的名字。如果写这种容易理解的名字，则需要在/etc/hosts中做映射，使node01等价于某个IP

hadoop-fs.defaultFS相关推荐

hadoop中的9000端口代表什么_启动hadoop后，fs.defaultFS中配置的9000端口没有出现在监听中？...
我是在虚拟机上安装的完全分布式的集群. 3个虚拟机,OS是CentOS 6.6,仅仅安装了Hadoop2.6.4.Hbase.zookeeper等等都没装. iptables, selinux等等都关 ...
hadoop fs命令无法使用_「大数据」「Hadoop」HDFS的配置与管理
HDFS(Hadoop Distributed File System)是Hadoop三个基础组件之一,为另外的组件以及大数据生态中的其他组件提供了最基本的存储功能,具有高容错.高可靠.可扩展.高吞吐 ...
运行hadoop fs -ls 命令显示本地目录问题
2019独角兽企业重金招聘Python工程师标准>>> 运行hadoop fs -ls 命令显示本地目录问题问题原因:是因为在hadoop配置文件中没有指定HDFS的默认路径解决 ...
fs.default.name和fs.defaultFS
在hadoop的配置文件 core-site.xml中,需要设置 fs.default.name 或 fs.defaultFS ,具体应该使用哪一个,会造什么样的错误,需要在实际操作中去验证.官网有下 ...
hadoop fs、hadoop dfs、hdfs fs、hdfs dfs区别
(1) fs是一个通用的文件系统可以指向任何的文件系统如local,HDFS等,而dfs是分布式文件系统,是针对hdfs的(经博主验证,hdfs dfs也能用于操作local). (2) 使用hado ...
【大数据开发运维解决方案】hadoop fs常用命令案例解释
文章目录前言一.hadoop fs常用命令参数列表二.案例展示 hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hado ...
Hadoop fs命令详解
本文非原创,转载自http://www.superwu.cn/2013/07/31/312 另外参考:http://www.blogjava.net/changedi/archive/2013/08/ ...
hadoop fs默认操作路径
hadoop fs命令默认操作文件路径为:/[主目录]/[用户名]. 主目录的默认路径为/user, 由配置项dfs.user.home.dir.prefix决定,存在于hdfs-site.xml文件 ...
何时使用hadoop fs、hadoop dfs与hdfs dfs命令
hadoop fs:使用面最广,可以操作任何文件系统. hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后 ...
flink启动出现java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path
flink的版本是1.10.1 yarn-session.sh启动后出现如下报错: java.lang.NoClassDefFoundError: org/apache/hadoop/fs/Path ...

hadoop-fs.defaultFS

hadoop-fs.defaultFS相关推荐

最新文章

热门文章