hdfs restful API：httpfs与webhdfs的简单使用

HttpFS和WebHDFS 通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。 webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namen

HttpFS和WebHDFS
通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。

webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namenode上传，客户端有可能访问多个机器。而httpfs，所有的操作都通过httpfs进行。

webhdfs和httpfs的使用方法基本是一样的，只有很小很小的差别。

HttpFS一些常用的操作
查看home目录
curl “http://osg11-vm06:8014/webhdfs/v1?op=GETHOMEDIRECTORY&user.name=kpi”

创建目录
curl -i -X PUT “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk?op=MKDIRS&user.name=kpi”

curl -i -X PUT “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/a/b/c?op=MKDIRS&user.name=kpi”

删除目录，recursive参数删除非空目录
curl -i -X DELETE “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/a?op=DELETE&recursive=true&user.name=kpi”

创建文件(httpfs执行这一步没意义，上传也是通过httpfs上传)
curl -i -X PUT “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=CREATE&user.name=kpi”

创建文件和上传
这里需要加入header，否则提示出错，可能是个bug https://issues.cloudera.org/browse/HUE-679

curl -i -X PUT -T /tmp/test.txt “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=CREATE&data=true&user.name=kpi” -H “Content-Type:application/octet-stream”

追加文件
curl -i -X POST -T /tmp/test.txt “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=APPEND&data=true&user.name=kpi” -H “Content-Type:application/octet-stream”

打开文件并读取
curl -i -L “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=OPEN&user.name=kpi”

参考
http://hadoop.apache.org/docs/r1.0.4/webhdfs.html

hdfs restful API：httpfs与webhdfs的简单使用相关推荐

HDFS restful API：关于WebHDFS与HttpFS的区别
简介两者都是基于REST的HDFS API,使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问,并且client不受语言的限制. WebHDFS是HD ...
Android使用Bmob移动后端云Restful API需要注意的问题
如果你自己想做一个客户端玩玩,但是又不想去搭建后台服务器,显然Bmob移动后端云是你的最佳选择.官方地址见bmob,文档地址见http://www.bmob.cn/docs.他提供了Android的s ...
配置HDFS HttpFS和WebHDFS
HDFS支持两种RESTful接口:WebHDFS和HttpFS. WebHDFS默认端口号为50070,HttpFS默认端口号为14000. 默认启动WebHDFS而不会启动HttpFS,而Http ...
启动服务错误5拒绝访问_【Go API 开发实战 5】基础1：启动一个最简单的 RESTful API 服务器...
启动一个最简单的 RESTful API 服务器本节核心内容启动一个最简单的 RESTful API 服务器设置 HTTP Header API 服务器健康检查和状态查询编译并测试 API 本 ...
一个基于Spring极度简单的Restful API工具
点击上方好好学java ,选择星标公众号重磅资讯.干货,第一时间送达今日推荐:硬刚一周,3W字总结,一年的经验告诉你如何准备校招! 个人原创100W+访问量博客:点击前往,查看更多作者:小 ...
【Go API 开发实战 5】基础1：启动一个最简单的 RESTful API 服务器
本节核心内容启动一个最简单的 RESTful API 服务器设置 HTTP Header API 服务器健康检查和状态查询编译并测试 API 本小节源码下载路径:demo01 可先下载源码到本地 ...
MongoDB最简单的入门教程之五-通过Restful API访问MongoDB
通过前面四篇的学习,我们已经在本地安装了一个MongoDB数据库,并且通过一个简单的Spring boot应用的单元测试,插入了几条记录到MongoDB中,并通过MongoDB Compass查看到了 ...
spark restful_使用Spark构建简单的RESTful API
spark restful 免责声明 :这篇文章是关于名为Spark的Java微型Web框架的,而不是关于数据处理引擎Apache Spark的 . 在此博客文章中,我们将看到如何使用Spark构建简 ...
使用Spark构建简单的RESTful API
免责声明 :这篇文章是关于名为Spark的Java微型Web框架的,而不是关于数据处理引擎Apache Spark的 . 在此博客文章中,我们将看到如何使用Spark构建简单的Web服务. 如免责声明 ...

hdfs restful API：httpfs与webhdfs的简单使用

hdfs restful API：httpfs与webhdfs的简单使用相关推荐

最新文章

热门文章