集群状态正常时需要的jps进程＋是否需要部署到各个节点(持续更新中)

集群	jps进程-主机	jps进程-从机	需要在集群中每个节点输入启动命令	需要确保各个节点启动特定jps
HDFS	HistoryServer NameNode DataNode(workers文件中包含主机) SecondaryNameNode	DataNode	否	是
Yarn	NodeManager ResourceManager	NodeManager	否	是
Spark	Master Worker JobHistoryServer	Worker	否	是
Hbase	QuorumPeerMain(独立的Zookeeper) HQuorumPeer(hbase管理的Zookeeper) HRegionServer HMaster	HRegionServer	否	是
Nifi	NiFi RunNiFi	无	否	否
Zookeeper	ZooKeeperMain(启动zookeeper的客户端时才会出现) QuorumPeerMain	QuorumPeerMain	是	是
Hive	①hive --service metastore ②hiveserver2 都是 RunJar		是	否
Thrift	ThriftServer	无	否	是
Tez	无	无	否	是
Flink(单机模式)	TaskManagerRunner StandaloneSessionClusterEntrypoint	无	否	否
Flink(standalone+HA集群模式)	71344 StandaloneSessionClusterEntrypoint 81890 QuorumPeerMain 67397 ResourceManager 67621 NodeManager 73271 Jps 66797 DataNode 66364 NameNode 71775 TaskManagerRunner	3315 QuorumPeerMain 30996 Jps 29860 NodeManager 30889 TaskManagerRunner 3354 QuorumPeerMain 29691 DataNode 30494 StandaloneSessionClusterEntrypoint	否	是

如果自己安装zookeeper，启动及关闭先后顺序为：启动Hadoop—>启动ZooKeeper集群—>启动HBase

关闭顺序：停止HBase—>停止ZooKeeper集群—>停止Hadoop。

对于hive on tez

①启动hadoop

②hdfs离开安全模式

③hive --service metastore &

④hiveserver

⑤yarn timelineserver

⑥启动tomcat

⑦启动hive客户端或者beeline客户端

HBase是列式数据库，既可以单机也可以集群的方式搭建，以集群的方式搭建一般建立在HDFS之上。

分布式HBase启动说明：
首先启动hadoop，然后问题就来了：zookeeper和hbase的启动顺序是什么？

1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。
2.先启动zookeeper：如果用外置的zookeeper管理hbase，则先启动zookeeper，然后启动hbase，启动后会有一个QuorumPeerMain进程。

两个进程的名称不一样：
HQuorumPeer表示hbase管理的zookeeper
QuorumPeerMain表示zookeeper独立的进程

#---------------------------------正常启动下各台机子应该有的进程(案例)------------------------------------------------------------

	台式机	笔记本
HDFS	2976 NameNode 3136 DataNode 6981 JobHistoryServer 3331 SecondaryNameNode	1822 DataNode 1961 NodeManager
Yarn	3737 NodeManager 3567 ResourceManager	无
Hbase	13122 HMaster 13330 HRegionServer	5774 HRegionServer
Spark	4325 Master 4497 Worker 4584 HistoryServer	2192 Worker
Zookeeper	9219 QuorumPeerMain	5441 QuorumPeerMain 5610 QuorumPeerMain
Hive	RunJar
Thrift	ThriftServer	ThriftServer

注意:

在还没有启动Hbase之前，jps中必须有进程QuorumPeerMain，否则不要进行下一步操作

集群状态正常时需要的jps进程＋是否需要部署到各个节点(持续更新中)相关推荐

ptaa乘以b_PTA|团体程序设计天梯赛-练习题目题解锦集（C/C++）（持续更新中……）...
C++ CPP C++语言开发 PTA|团体程序设计天梯赛-练习题目题解锦集(C/C++)(持续更新中--) PTA|团体程序设计天梯赛-练习题目题解锦集(持续更新中) 实现语言:C/C++: ...
PTA|团体程序设计天梯赛-练习题目题解锦集（C/C++）（持续更新中……）
PTA|团体程序设计天梯赛-练习题目题解锦集(持续更新中) 实现语言:C/C++: 欢迎各位看官交流讨论.指导题解错误:或者分享更快的方法!! 题目链接:https://pintia.cn/ ...
Plant Simulation、NX MCD、PDPS，SIMIT,PLCSIM仿真与虚拟调试合集（持续更新中）
一文了解PLCSIM.SIMIT.Amesim.NX MCD. Process Simulate.Plant Simulation等仿真与虚拟调试软硬件: 一文了解PLCSIM.SIMIT.Amesi ...
350篇天涯论坛经典贴子合集分享（持续更新中ing）
注:花时间搜集了天涯论坛神贴合集,分享给大家,无密可编辑pdf版本,就是给大家留下一些经典的回忆.当年天涯论坛那可是高人辈出啊,很多佳作神帖含金量很高.很多现在连天涯上都看不到了,有点可惜.大家且看且 ...
【第十三届蓝桥杯备战】C/C++解题时的一些个人小技巧和注意事项(持续更新中)
[第十三届蓝桥杯备战]C/C++解题时的一些个人小技巧和注意事项(持续更新中) 输入输出数组数据结构 1. 线段树调试 References 先说一些废话:我最近觉得写算法题就像是打格斗游戏一样 ...
腾讯C++面试题【合集】来啦~持续更新中
为了方便大家集中查看面经这里给大家做一个合集腾讯C++面试题 2020年腾讯实习生C++面试题及答案持续更新中(1) 2020年腾讯实习生C++面试题及答案持续更新中(2) 2020年腾讯实习生C ...
进程的同步和互斥反映了_用信号量解决进程的同步与互斥探讨【持续更新】
现代操作系统采用多道程序设计机制,多个进程可以并发执行,CPU在进程之间来回切换,共享某些资源,提高了资源的利用率,但这也使得处理并发执行的多个进程之间的冲突和相互制约关系成为了一道难题.如果对并发进 ...
用信号量解决进程的同步与互斥探讨【持续更新】
现代操作系统采用多道程序设计机制,多个进程可以并发执行,CPU在进程之间来回切换,共享某些资源,提高了资源的利用率,但这也使得处理并发执行的多个进程之间的冲突和相互制约关系成为了一道难题.如果对并发进 ...
前端面试题合集（持续更新中......）
HTML.CSS 1.元素水平垂直居中 • 定位偏移 top,left为50%,margin-left,margin-top自身的-50% • 定位平移 top,left,bottom,right为0 ...

集群状态正常时需要的jps进程＋是否需要部署到各个节点(持续更新中)

集群状态正常时需要的jps进程＋是否需要部署到各个节点(持续更新中)相关推荐

最新文章

热门文章