配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。
WebHDFS默认端口号为50070，HttpFS默认端口号为14000。
默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。
WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如果HDFS是HA方式部署的，则只能使用HttpFS模式。
HttpFS是独立的模块，有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties，需独立启动。
而WebHDFS是HDFS内置模块，无自己的配置文件、环境配置文件和日志配置文件，随HDFS而启动。

WebHDFS配置，在core-site.xml中加入以下内容：

hadoop.proxyuser.username.hosts</name><value>∗</value></property><property><name>hadoop.proxyuser.username.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.username.hosts</name><value>∗</value></property><property><name>hadoop.proxyuser.groupname.groups
*

“$username”的值为启动HDFS的用户名，“$groupname”为启动HDFS的用户组名。

HttpFS配置，在core-site.xml中加入以下内容：

hadoop.proxyuser.httpfs.hosts

hadoop.proxyuser.httpfs.groups

对于HttpFS，还需要在httpfs-site.xml中加入以下内容：

<property><name>httpfs.proxyuser.$username.hosts</name><value>*</value>
</property>
<property><name>httpfs.proxyuser.$groupname.groups</name><value>*</value>
</property>

“$username”的值为启动HttpFS的用户名，“$groupname”为启动HttpFS的用户组名。

环境配置文件httpfs-env.sh可以不用修改，直接使用默认的值，当使用sbin/httpfs.sh start来启动HttpFS时会屏幕输出HTTPFS_HOME等值。

参考链接：
https://www.cnblogs.com/aquester/p/9891518.html
https://www.cnblogs.com/itboys/p/8552784.html

配置HDFS HttpFS和WebHDFS相关推荐

hdfs restful API：httpfs与webhdfs的简单使用
HttpFS和WebHDFS 通过http协议操作hdfs有两个组件,httpfs和webhdfs,我一开始还以为这两个是同一个东西,其实不是.webhdfs是namenode.datanode自带的 ...
Hue连接HDFS -- HttpFS
文章目录 1.简介 2.WebHDFS与HttpFS 1.简介 HUE = Hadoop User Experience Hue是一个开源的 Apache Hadoop UI 系统,由 Clouder ...
Flume NG之Agent部署和sink配置HDFS且吐槽CSDN博客及客服态度
实在是想对csdn博客吐槽,一天到晚要么发布不了,发布成功的居然还时不时看不到文章内容(空白的),有时还打不开博客,问客服就说换浏览器.我真想和csdn客服说,你妹的,你知不知道我是码农啊,初步的问题 ...
java 配置hdfs集群_Hadoop集群搭建-04安装配置HDFS
HDFS是配合Hadoop使用的分布式文件系统,分为 namenode: nn1.hadoop nn2.hadoop datanode: s1.hadoop s2.hadoop s3.hadoop ( ...
【收藏】HUE配置HDFS
https://blog.csdn.net/qq_43791724/article/details/103427741
【收藏】HUE配置HDFS报错Cannot access: /. The HDFS REST service is not available. “ ““
https://blog.csdn.net/wz_TXWY/article/details/100548995
HDFS restful API：关于WebHDFS与HttpFS的区别
简介两者都是基于REST的HDFS API,使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问,并且client不受语言的限制. WebHDFS是HD ...
HDFS配置Kerberos认证
为什么80%的码农都做不了架构师?>>> 本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoo ...
HDFS配置Kerberos
官网文档关于kerberos介绍很少添加用户配置HDFS相关的Kerberos账户每个节点根据运行的不同组件创建不同的principl及keytab 创建数据目录每个节点都要创建设置HDFS ...

配置HDFS HttpFS和WebHDFS

配置HDFS HttpFS和WebHDFS相关推荐

最新文章

热门文章