hadoop2.0集群进程_hadoop集群基本进程

namenode

namenode 相当于一个领导者，负责调度比如你需要存一个640m的文件如果按照64m分块那么namenode就会把这10个块(这里不考虑副本)分配到集群中的datanode上并记录对于关系。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。

QuorumPeerMain

QuorumPeerMain Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动QuorumPeer线程。首先我们来看下QuorumPeer，谷歌翻译quorum是法定人数，定额的意思， peer是对等的意思，那么QuorumPeer中quorum代表的意思就是每个zookeeper集群启动的时候集群中zookeeper服务数量就已经确定了，在每个zookeeper的配置文件中配置集群中的所有机器事实上这也确定zookeeper在运行中是不能动态扩容的，必须停下服务修改配置才可以；QuorumPeer中peer代表就是集中每个zookeeper角色是对等的没有主从之分，每个zookeeper服务都可以成为leader， follower，observer。

journalnode

journalnode 两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了

ZKFailoverController

ZKFailoverController 是hadoop-2.7.0中HDFS NameNode HA实现的中心组件，它负责整体的故障转移控制等。它是一个守护进程，通过main()方法启动，继承自ZKFailoverController。

resourcemanager

resourcemanager 在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点(NodeManager)的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)。

DataNode

DataNode 解释Datanode是文件系统的工作节点，他们根据客户端或者是namenode的调度存储和检索数据，并且定期向namenode发送他们所存储的块(block)的列表。

nodemanager

nodemanager 是YARN中每个节点上的代理，它管理hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督container的生命周期管理，监控每个Container的资源使用(内存、CPU等)情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务。

hadoop2.0集群进程_hadoop集群基本进程相关推荐

RedHadoop创始人童小军在北京开讲“Hadoop2.0集群优化与管理”啦！
一.活动介绍目前Hadoop的应用越来越广泛,开始被很多企业采用,且Hadoop人才十分稀缺和抢手,待遇也远比Java..Net开发好.为了帮助您快速掌握Hadoop的前沿技术,了解企业应用Hado ...
Hadoop2.0高可用集群搭建【保姆级教程】
搭载Hadoop2.0高可用集群说明准备下载好所需要的文件目录准备虚拟机网络配置(可能会在其他文章中讲到) 文件的安装配置环境变量环境变量的验证关闭防火墙配置Hadoop高可用集群 ...
Hadoop2.x部署之完全分布式集群环境搭建
一.分布式部署概述 Hadoop环境的搭建有三种方式: 本地环境搭建伪分布式环境搭建完全分布式环境搭建集群在前面的文章中,详细描述了如何搭建本地环境[https://blog.csdn.net/qq ...
从0到1搭建spark集群---企业集群搭建
今天分享一篇从0到1搭建Spark集群的步骤,企业中大家亦可以参照次集群搭建自己的Spark集群. 一.下载Spark安装包可以从官网下载,本集群选择的版本是spark-1.6.0-bin-hado ...
redis 一般启动几个哨兵_Redis6.0主从、哨兵、集群搭建和原理
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 暴走大数据点击右侧关注,暴走大数据! 由 ...
Linux（CentOS7）治理组件nacos（2.0.3版本）单机/集群安装部署详细图解
一.演示环境说明三台Linux服务器, IP1:192.168.65.200:IP2:192.168.65.201:IP3:192.168.65.202, MySql_V5.7.24:192.168 ...
Redis6安装配置集群cluster以及集群宕机注意事项
Redis6的cluster模型推荐3主3从先准备3台服务器,每个上面部署2个redis,服务器配置2核2G: 下面在每台服务器安装redis6,每台机器只要安装一次即可,然后分别配置2个端口的co ...
搭建mongodb集群（副本集+分片）
完整的搭建mongodb集群(副本集+分片)的样例... 准备四台机器,各自是bluejoe1,bluejoe2,bluejoe3,以及bluejoe0 副本集及分片策略确定例如以下: 将创建3个副本 ...
php配置mysql集群_mysql的集群配置
欢迎进入Linux社区论坛,与200万技术人员互动交流 >>进入文档旨在介绍如何安装配置基于2台服务器的MySQL集群.并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行. ...

hadoop2.0集群进程_hadoop集群基本进程

hadoop2.0集群进程_hadoop集群基本进程相关推荐

最新文章

热门文章