以三个节点的集群为例:

总括:

nodemanager ,datanode  --> slaves
resourcemanager ---------->    yarn
namenode      --------------->    core-site

详细解析:

主机名称 备注 IP地址 功能
hadoop01    Master       192.168.211.134      NameNode、 DataNode、NodeManager、ResourceManager
hadoop02    Slave         192.168.211.129      SecondaryNameNode、DataNode、NodeManager、
hadoop03    Slave         192.168.211.140       DataNode、NodeManager
所有机子都需要配置
1.JDK 2.SSH免登陆 3.Hadoop集群

网关地址;192.168.211.1

一:
NameNode(core-site.xml,这里配哪一台,哪一台启动namenode),相应的在hdfs-site.xml中的dfs.http.address下对应的
value值也要写这一台并在之后加50070端口,如hadoop01:50070

<name>fs.defaultFS</name>
<!--配置hdfs系统的地址-->
<value>hdfs://hadoop01:8020</value>(在哪一台配,namenode就在哪一台启动)
二:
ResourceManager(yarn-site.xml,这里配哪一台,哪一台启动ResourceManager)两个相对应。

<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>

三:
DataNode、NodeManager决定于:
slaves文件。(默认localhost,删掉即可)
谁跑dataNode,slaves文件写谁。

当namenode跑的时候,会通过配置文件开始扫描slaves文件,slaves文件有谁,谁启动dataNode.
当启动yarn时,会通过扫描配置文件开始扫描slaves文件,slaves文件有谁,谁启动NodeManager

四:
SecondaryNameNode(hdfs-site.xml)在secondary这个地址下写谁,谁就是辅助的namenode。
<name>dfs.secondary.http.address</name>
<value>hadoop:50090</value>

五:启动过程
[hadoop@hadoop01 hadoop]start-dfs.sh 启动dfs,扫描core-site.xml文件启动namenode,
namenode启动完成之后扫描slaves文件,在sbin目录下
执行 ./hadoop-daemon.sh start datanode 启动datanode.(每一台机器都是这么操作的)

sbin目录:cd /home/hadooop/hadoop-2.6.1/sbin/

[hadoop@hadoop01 sbin]./yarn-daemon.sh start resourcemanager (resourcemanager利用yarn-daemon.sh脚本来启动,
扫描slaves文件,启动resourcemanager,启动完成之后,扫描slaves文件,在sbin目录下,执行 ./yarn-daemon.sh start nodemanager 启动NodeManager)

六:免密过程
发送密钥:取决于谁。密钥是用来在哪些主机之间进行传递的?
在配置hadoop分布式安装过程中,需要配置ssh的无密码登录。
在组建hadoop集群的时候,需要多台实体机进行通信(发送或者读取数据,
namenode和datanode之间)就是借助ssh,在通信过程中如果需要操作人员
频繁输入密码是不切实际的,所以需要ssh的无密码登录。
总结:哪台功能为nameNode就在哪台设置ssh免密登录。向其他datanode主机发送,
如果自己有,也要给自己发送。
ResourceManager和NodeManager的关系同理。

五个节点应用:http://www.cnblogs.com/pingzizhuanshu/p/8964025.html

转载于:https://www.cnblogs.com/pingzizhuanshu/p/8964011.html

hadoop集群配置文件与功能对应解析相关推荐

  1. hadoop集群配置文件

    1.core-site.xml参数 2.hdfs-site.xml参数 3.mapred-site.xml参数 4.yarn-site.xml参数

  2. ma-hadoop集群-配置文件-进程地址端口-和hive hbase关系

    0 hadoop 集群: 集群部署方式: 将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上, 实现数据处理的本地性,进而大大提高整个过程的完成效率. 核心进程: 整个集群共有5类运行的 ...

  3. Hadoop集群搭建详细步骤大全

    0- Hadoop运行环境搭建 1.1,安装虚拟机 1)安装虚拟机 IP地址192.168.10.100.主机名称hadoop100,4G.硬盘50G (安装vm和光盘,注意放在内存大的硬盘上) (1 ...

  4. 学习笔记Hadoop(八)—— Hadoop集群的安装与部署(5)—— Hadoop配置参数介绍、Hadoop集群启动与监控

    五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...

  5. Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

    25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...

  6. hadoop集群搭建 修改配置文件(三台主机都要配置)

    hadoop集群搭建      修改配置文件(三台主机都要配置) master 主机配置 1)hadoop-env.sh vim hadoop-env.sh 2)core-site.xml vim c ...

  7. 第127讲:Hadoop集群管理之安全模式解析及动手实战学习笔记

    第127讲:Hadoop集群管理之安全模式解析及动手实战学习笔记 hadoop在启动时namenode会把fsimage加载进内存,同时和edits内容合并,以此建立整个文件系统的元数据的镜像(内存级 ...

  8. Linux查看Hadoop集群,Hadoop实战之Hadoop集群功能简单测试验证

    前几天对Hadoop分布式集群的安装过程进行了总结,对hadoop的集群搭建只是学习hadoop中的艰难的一步,后面还需要学习更多的知识,不知道自己能不能坚持下去,不知道后面还会遇到多少困难,不过,我 ...

  9. hadoop集群_Ambari搭建hadoop集群

    Ambari搭建hadoop集群 Ambari提供了对Hadoop更加方便快捷的管理功能,主要包含: 通过一步一步的安装向导简化了集群供应. 预先配置好关键的运维指标(metrics),可以直接查看H ...

最新文章

  1. android vectorDrawable使用笔记(一)
  2. 这是时间的推移 不是系统的分类
  3. Spring Cloud【Finchley】实战-02订单微服务
  4. POJ 3069 Saruman's Army(贪心)
  5. BUU_刷题之旅(One)
  6. 我来自双非二本,未来的路该怎么走?
  7. dubbo的invoke命令_dubbo 调试服务telnet命令
  8. 在巴展上做成90%的生意 爱立信MWC关键字:5G、IoT、云
  9. socket.io 中文手册 socket.io 中文文档
  10. All Reduce算法汇总
  11. D92-02-ASEMI低压降快恢复二极管TO247封装
  12. 对应生成树的基本回路_离散数学课程复习考试试题及答案B
  13. 计算机如何解锁 磁盘,win7电脑磁盘被写保护如何解除,电脑磁盘被写保护解除方法...
  14. 在VB中使用API“SHFileOperation”删除文件的三个问题
  15. doc 问卷调查模板表_问卷调查表.doc
  16. 有限元基础及ANSYS应用 - 第9节 - 2 平面应变问题的ANSYS分析
  17. C语言10道入门题集
  18. EXCEL2016学生表两列名字按相同排序,对比期中期末考试选出进步学生
  19. DevOps 测试实践
  20. 复选框全部选中/全部取消

热门文章

  1. 从Openvswitch代码看网络包的旅程
  2. shell特殊符号cut命令 sort_wc_uniq命令 tee_tr_split命令 shell特殊符号
  3. 文本超出隐藏 综合整理
  4. 无法连接到数据库服务器 could not connect to server: Connection refused
  5. python之tkinter图形界面
  6. hdu5643 King's Game(约瑟夫环+线段树)
  7. 习题:编程求圆周长、圆面积、圆球体积、设圆半径r=1.5。要求:用scanf输入数据,输出计算结果,输出时要求有文字说明,取小数后2位...
  8. grunt.config()_gruntjs api
  9. Sum-product Networks
  10. 第二章 向量(d5)有序向量:插值查找