HadoopSourceAnalyse---ResourceMananger-initiate
初始化
ResourceManager 是Hadoop mapreduce v2 实现在的核心之一, 它负责,接收并分发客户请求,监视集群中可用的Node资源。在系统启动的时候,ResourceManager会启动实例化以下的service和 对像。Resourcemanager在初化过程中会读取yarn.resourcemanager.recovery.enabled 标志,如果打开,resourcemanager会偿试,从之前保存的状态恢复。默认关闭。
图 1-1
在初始化过程中对应的Event及Handler如下:
Event registered in ResourceManagerDispather
Event | Handler |
---|---|
NodeListManageEventType | NodesListManager |
SchedulerEventType | SchedulerDispatcher |
RMAppEventType | ApplicationEventDispatcher |
RMAppAttemptEventType | ApplicationAttemptEventDispatcher |
RMNodeEventType | NodeEventDispatcher |
RMAppManagerEventType | RMAppManager |
AMLauncherEventType | ApplicationMasterLauncher |
Tab 1-1
ResoureManagerDispatcher 初始化
AsyncDispatcher是 ResourceManager 初始化的第一个对像, 这个对像负责 分发所有的Event(上表中) 到各个相应的handler,这是一个异步的过程。当Dispathcher 创建成功后,它会创建并维护一个同步队列,用来保存,所有的收到的event。Dispatcher 初始化的时候,会从配置文个中读取yarn.dispathcer.exit-on-error 标志,并保存在本实例中。
ApplicationTokenSecretManager 初始化
ApplicationTokenSecretManager 管理所有的用于和运行application 所需的密钥,当对像实例化的时候,系统会自动生成一个用HmacSHA1 算法生成一个key作为初始的key使用,每间隔一段时间会重新生成一个key,Manager会从配置文件中读取yarn.resourcemanager.application-tokens.master-key-rolling-interval-secs作为密钥的过期时间默认值为:86400 s
ContainerAllocationExpirer 初始化
AMlivelinessMoitor and AMFinishingMointor初始化
DeletgationTokenRenewer 初始化
RMContainerTokenSecretManager 初始化
RmContext 初始化
NodeListManager 初始化
Scheduler 初始化
SchedulerEventDispatcher 初始化
NodeManagerLivenessMonitor 初始化
ResourceTrackerService 初始化
ApplicationMasterService 初始化
RMDelegationTokenSecretManager 初始化
ClientRMService 初始化
AdminService 初始化
ApplicationMasterLauncher 初始化
启动
ResourcemanagerDispatcher 启动
ContainerAllocationExpirer 启动
AMLivelinessMonitor and AMFinishingMonitor 启动
DelegationTokenRenewer 启动
AppTokenSecretManager 启动
ContainerTokenSecretmanager 启动
NodeListManager 启动
SchedulerEventDispatcher 启动
NodeLivenessMonitor 启动
ResourceTrackerService 启动
ApplicationMasterService 启动
ClientResourceManagerService 启动
AdminService 启动
ApplicationMasterLauncher 启动
转载于:https://www.cnblogs.com/tnangle/archive/2013/04/23/3376707.html
HadoopSourceAnalyse---ResourceMananger-initiate相关推荐
- HadoopSourceAnalyse --- NodeManager -- initiate
Overview NodeManager 是hadoop cluster的server中,负责管理,执行任务相关的资源,主要通过ResouceManager和ApplicationsManager通信 ...
- Teams的MessageExtension最新功能:Initiate actions
官方文档到目前为止对这个initiate action的说明比较简洁,由于没有一步步的截图和说明,从头到尾看一遍可能还在云里雾里. 我一步步摸索着走了一遍,发现这个initiate action的功能 ...
- Pycharm 安装 github copilot 报错:failed to initiate the github login process please try again
下载安装好copilot插件后,提示failed to initiate the github login process please try again 就非常的emo... 我的pycharm是 ...
- keyberos认证问题导致GSS initiate failed
背景:实施过程中需要./XX.sh 用来提交到大数据平台yarn上进行分析场景的任务提示了下列报错. javax.security.sasl.SaslException: GSS initiate f ...
- phoenix-5.1.2 Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM
Caused by: java.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cann ...
- 使用 github copilot 踩坑记录:failed to initiate the github login process please try again
之前被安利了这款AI插件,但在idea找了半天没找到,原来是因为这软件对idea的版本有要求,于是下载了最新版 接着对账号进行了申请,进入了漫长的等待,好不容易申请到了体验权,一点登录却一直loadi ...
- Inconsistent namespace mapping properties. Cannot initiate connection as SYS
完整错误 Error: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection ...
- Error: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection as S
Error: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection as S ...
- MongoDB 副本集在 rs.initiate()报错
MongoDB 在 rs.initiate()后 1. 出现错误信息:This node was not started with the replSet option 解决方法:检查相关文件夹是否有 ...
- Failed to initiate the GitHub login process. Please try again(1.1.28.1744)
Failed to initiate the GitHub login process. Please try again 解决办法 关于在idea中安装github copilot插件后,需要登陆进 ...
最新文章
- java 启动 jetty_如何通过命令行启动或者关闭 Jetty 服务器
- snipaste 使用指南
- 机器学习Sklearn实战——手写线性回归
- Matplotlib(一)工作流程
- vuex 管理vue-router的传值
- Recoll:Unix和Linux桌面的文本搜索工具
- 从零开始:什么是Makefile分析
- ★LeetCode(448)——找到所有数组中消失的数字(JavaScript)
- 机器学习和AI的区别是什么?| 今日吐槽
- win7误删计算机,Win7系统下文件数据被误删了怎么办
- Google 投资了京东
- python实验总结与分析_Python程序设计实验一报告
- java excel批量导入数据库数据_java把excel数据批量导入到数据库
- 教您在Excel中批量生成二维码
- ai人工智能让女神_人工智能可能只会让你兴奋不已
- Java中9种常见的CMS GC问题分析与解决
- jser必看的破解javascript各种加密的反向思维方法 转自脚本之家
- STM32:使用外部中断控制对射式红外传感器并计次
- 用 HLS m3u8 及FFMPEG搭建视频点播平台
- 如何写一篇五彩斑斓的博客.append(可爱)