Hadoop webHDFS设置和使用说明

原文：http://blog.csdn.net/iloveyin/article/details/28264027

----------------------------------------------------------------------------------------

1.配置

namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true，否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令，因为这些信息都是由namenode来保存的。

在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属性：

双击代码全选
1 2 3 4	`<property>` `<name>dfs.webhdfs.enabled</name>` `<value>true</value>` `</property>`

2.使用说明

访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口，访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口，直接使用namenode的IP和端口进行所有的webhdfs操作，就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。

3.curl操作webhdfs

创建并写一个文件
curl -i -X PUT "http://localhost:50070/webhdfs/v1/<PATH>?op=CREATE
[&overwrite=<true|false>][&blocksize=<LONG>][&replication=<SHORT>]
[&permission=<OCTAL>][&buffersize=<INT>]“
curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
op=CREATE...“
注意这个地方填入的是DataNode的信息

在一个文件内追加内容
curl -i -X POST "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=APPEND[&buffersize=<INT>]”
curl -i -X POST -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
op=APPEND...“
注意该条命令获得的是DataNode的信息。

打开并读取一个文件
curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]“

创建一个目录
curl -i -X PUT "http://<HOST>:<PORT>/<PATH>?op=MKDIRS[&permission=<OCTAL>]“

重名命文件、文件夹
curl -i -X PUT "<HOST>:<PORT>/webhdfs/v1/<PATH>?op=RENAME&destination=<PATH>"

删除文件/文件夹
curl -i -X DELETE "http://<host>:<port>/webhdfs/v1/<path>?op=DELETE [&recursive=<true|false>]“

文件/ 文件夹的状态信息
curl -i “http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS“

目录列表
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS”

获取目录的上下文环境汇总信息
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETCONTENTSUMMARY"

获取Check Sum File
curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILECHECKSUM”

获取Home 目录
curl -i "http://<HOST>:<PORT>/webhdfs/v1/?op=GETHOMEDIRECTORY”

设置权限
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETPERMISSION [&permission=<OCTAL>]“

设置所有者
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETOWNER [&owner=<USER>][&group=<GROUP>]"

设置备份
curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETREPLICATION [&replication=<SHORT>]“

Hadoop webHDFS设置和使用说明相关推荐

Hadoop群集设置
Hadoop群集设置近期特别看了Hadoop的资料.感觉特别好,整理一下发在自己的博客上,希望对想了解集群的网友有所帮助. 參考资料:http://hadoop.apache.org/docs/r1 ...
我的云之旅--hadoop单机设置(2)
hadoop 安装 1 首先安装linux 2 添加用户,如果使用root有时莫名其妙的错误 3 ssh 自动登录注意启动sshd服务 4 java安装和环境变量设置 5 hadoop安装和环境变量 ...
作业优先调度java代码_如何在触发它时在java代码中为hadoop作业设置优先级？
这是我的工作人员的外表.如何在触发这项工作时设定低优先级? public int run(String[] args) throws Exception { this.initJob(); Path ...
为什么不用mysql做数据仓库hdfs_为什么不建议将RAID用于Hadoop HDFS设置？
RAID用于两个目的.根据RAID配置,您可以获得: >更好的性能:读取文件可以分布在多个磁盘上,也可以透明地使用不同的磁盘从同一文件系统中读取多个文件. >容错:使用多个磁盘上的奇偶校验 ...
在计算机桌面上的回收站作用是,计算机桌面回收站的设置(回收站的概念及设置、使用说明)...
①:回收站的概念: 什么是回收站? 回收站是一个空间,即存放文件的空间:那么,这个空间从何而来呢? 如果你使用的计算机其硬盘划分为四个区,分别为C,D,E,F盘,总大小为80G,那么,你的回收站空间默 ...
linux远程xdmp设置,XManager使用说明
原文链接:http://blog.csdn.net/silence_ljh/article/details/9945031 用XManager在Windows7下远程桌面连接Linux Win7教程( ...
Linux下sql_labs第七关,SQL注入之Sqli-labs系列第二十七关（过滤空格、注释符、union select）和第二十七A...
开始挑战第二十七关(Trick with SELECT & UNION) 第二十七A关(Trick with SELECT & UNION) 0x1看看源代码 (1)与26关一样,这次 ...
Apache Hadoop集群设置示例（带虚拟机）
This Article Is From:https://examples.javacodegeeks.com/enterprise-java/apache-hadoop/apache-hadoop- ...
Hadoop之——setfacl 设置访问控制列表异常
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/94992969 默认情况下,在命令行执行Hadoop的设置访问控制列表时,出现异常 ...

Hadoop webHDFS设置和使用说明

Hadoop webHDFS设置和使用说明相关推荐

最新文章

热门文章