hadoop jetty的应用

在hadoop中很多地方都用到了servlet，并且使用jetty作为servlet的容器来提供http的服务，其主要是通过org.apache.hadoop.http.HttpServer类实现的，HttpServer类是对Jetty的简单封装，通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能：

public void addServlet(String name, String pathSpec,

Class<? extends HttpServlet> clazz) { //名称，url访问路径，处理类

addInternalServlet(name, pathSpec, clazz, false);

addFilterPathMapping(pathSpec, webAppContext);

}

默认在HttpServer的构造函数中，会调用addDefaultServlets添加需要增加的servlets:

public HttpServer(String name, String bindAddress, int port,

boolean findPort, Configuration conf, AccessControlList adminsAcl,

Connector connector, String[] pathSpecs) throws IOException {

....

webAppContext = new WebAppContext();

webAppContext.setDisplayName(name);

webAppContext.setContextPath( "/");

webAppContext.setWar(appDir + "/" + name);

....

addDefaultServlets();

....

启动addDefaultServlets定义了默认加载的servlet:

protected void addDefaultServlets() {

// set up default servlets

addServlet("stacks" , "/stacks" , StackServlet.class);

addServlet("logLevel", "/logLevel", LogLevel.Servlet.class);

addServlet("metrics", "/metrics", MetricsServlet.class);

addServlet("jmx", "/jmx", JMXJsonServlet.class);

addServlet("conf", "/conf", ConfServlet.class);

}

hadoop在多个地方都用到了HttpServer这个类：

比如在org.apache.hadoop.hdfs.server.datanode.DataNode类中：

1	`DataNode的构造函数--->startDataNode-->initDataXceiver+startInfoServer`

其中startInfoServer就是调用HttpServer类启动jetty的：

private HttpServer infoServer = null;

...

private void startInfoServer(Configuration conf) throws IOException {

// create a servlet to serve full-file content

InetSocketAddress infoSocAddr = DataNode.getInfoAddr(conf);

String infoHost = infoSocAddr.getHostName();

int tmpInfoPort = infoSocAddr.getPort();

this.infoServer = (secureResources == null)

? new HttpServer("datanode", infoHost, tmpInfoPort, tmpInfoPort == 0,

conf, new AccessControlList(conf.get(DFS_ADMIN, " ")))

: new HttpServer("datanode", infoHost, tmpInfoPort, tmpInfoPort == 0,

conf, new AccessControlList(conf.get(DFS_ADMIN, " ")),

secureResources.getListener());

LOG.info("Opened info server at " + infoHost + ":" + tmpInfoPort);

.....

this.infoServer.addInternalServlet(null, "/streamFile/*", StreamFile.class); //添加datanode专属的servlet

this.infoServer.addInternalServlet(null, "/getFileChecksum/*",

FileChecksumServlets.GetServlet.class);

this.infoServer.setAttribute("datanode", this);

this.infoServer.setAttribute(JspHelper.CURRENT_CONF, conf);

this.infoServer.addServlet(null, "/blockScannerReport",

DataBlockScanner.Servlet.class);

if (WebHdfsFileSystem.isEnabled(conf, LOG)) {

infoServer.addJerseyResourcePackage(DatanodeWebHdfsMethods.class

.getPackage().getName() + ";" + Param.class.getPackage().getName(),

WebHdfsFileSystem.PATH_PREFIX + "/*");

}

this.infoServer.start();

}

小结如下：

1)HttpServer是对Jetty的简单封装

2)hadoop各个组件都会用到HttpServer,datanode/namenode,resourcemanager等

其主要功能有：Hadoop的内部状态显示，运行和管理

3)HttpServer的addDefaultServlets方法定义了通用的几个servlet（比如更改日志级别的servlet），在每个类中又会定义属于自己的servlet

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1592799，如需转载请自行联系原作者

hadoop jetty的应用相关推荐

Hadoop参数汇总
Hadoop参数汇总 @(hadoop)[配置] linux参数以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分 ...
Hadoop/Hive-学习笔记【中级篇】
目录参考文章 hadoop配置文件详解 core-site.xml篇 hdfs-site.xml篇参考文章目的链接 hadoop配置文件 hadoop配置文件详解系列(一)-core-site ...
【深入理解Hadoop原理】Hadoop 参数配置详解
Hadoop 参数配置详解一.常用端口组件节点默认端口配置用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传 ...
hadoop 参数配置
@(hadoop)[配置] linux参数以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分区设置合理的预读取缓 ...
Azkaban的介绍、安装与使用
转载:https://blog.csdn.net/Sven119/article/details/90144843 目录 1.概述 1.1.为什么需要工作流调度器 1.2.工作流调度实现方式 1.3. ...
storm apache java_Apache Storm 示例 Java 拓扑 - Azure HDInsight | Microsoft Docs
您现在访问的是微软AZURE全球版技术文档网站,若需要访问由世纪互联运营的MICROSOFT AZURE中国区技术文档网站,请访问 https://docs.azure.cn. 以 Java 语言创建 ...
豌豆荚使用到的开源技术
Credits 豌豆荚使用了以下开源技术,豌豆们一直遵守各项使用协议.感谢作者们,你们让世界更美好. adb Apache Backbone.js boost Bower CEF Chromium d ...
WeBank/Schedulis部署和开发
一.Schedulis 普通版环境部署准备一).使用前置请基于 Linux 操作系统操作(建议 CentOS) 创建新用户 hadoop, 并为该用户赋予 root 权限,用于部署scheduli ...
Schedulis 普通版环境部署
## Schedulis 普通版环境部署一).使用前置请基于 Linux 操作系统操作(建议 CentOS) 创建新用户 hadoop, 并为该用户赋予 root 权限,用于部署schedulis ...

hadoop jetty的应用

hadoop jetty的应用相关推荐

最新文章

热门文章