hadoop yarn 集群配置

yarn基本概念
yarn是负责调度mapreduce程序,hdfs是负责存储数据
1、Resource Manager
接受用户提交的分布式计算程序，并为其划分资源
管理、监控各个Node Manager上的资源情况，以便于均衡负载

2、Node Manager
管理它所在机器的运算资源（cpu + 内存）
负责接受Resource Manager分配的任务，创建容器、回收资源

yarn的配置

node manager在物理上应该跟data node部署在一起
resource manager在物理上应该独立部署在一台专门的机器上,这里和namenode配置在同一台物理机上.

1、修改配置文件：
vi yarn-site.xml

<configuration><property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property><property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property><property>
<name>yarn.nodemanager.resource.memory-mb</name> <!-- 配置nodemanager的内存大小 -->
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name> <!-- 配置nodemanager的cpu核数,如果多于物理核心则平均分配-->
<value>2</value>
</property>
</configuration>

2、scp这个yarn-site.xml到其他节点
scp yarn-site.xml root@slave1:$PWD
scp yarn-site.xml root@slave2:$PWD
scp yarn-site.xml root@slave3:$PWD

3、启动yarn集群：start-yarn.sh （注：该命令应该在resourcemanager所在的机器上执行）

4、用jps检查yarn的进程，用web浏览器查看yarn的web控制台
http://hdp20-01:8088

hadoop yarn 集群配置相关推荐

hadoop yarn集群HA安装及配置
单机部署官网文档 https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/SingleCluster.html ...
Hadoop HA on Yarn——集群配置
集群搭建因为服务器数量有限,这里服务器开启的进程有点多: 机器名安装软件运行进程 hadoop001 Hadoop,Zookeeper NameNode, DFSZKFailoverContro ...
Hadoop分布式集群配置
1.三台虚拟机(Centos7.6),配置JDK,HADOOP环境,在搭建虚拟机时,可以先将一台的环境配置,再克隆两台改IP就好.三台虚拟机最小化安装,必须拥有必要的插件  ...
Hadoop Ha集群配置
为什么要配置HDFS HA? 首先:HDFS集群中NameNode 如果存在单点故障.对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用. 而影响HD ...
hadoop hdfs 集群配置
配置过程修改配置文件 hadoop的配置文件在:/root/apps/hadoop安装目录/etc/hadoop/ 修改hadoop-env.sh,配置java环境变量 export JAVA_HO ...
pythonspark集群模式运行_有关python numpy pandas scipy 等能在YARN集群上运行PySpark
有关这个问题,似乎这个在某些时候,用python写好,且spark没有响应的算法支持, 能否能在YARN集群上运行PySpark方式, 将python分析程序提交上去? Spark Applicat ...
基于YARN集群构建运行PySpark Application
文章转载:https://www.tuicool.com/articles/eaYVN3v Spark Application可以直接运行在YARN集群上,这种运行模式,会将资源的管理与协调统一交给Y ...
Hadoop 2.0集群配置详细教程
Hadoop 2.0集群配置详细教程前言 Hadoop2.0介绍 Hadoop是 apache 的开源项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系统, hadoop ...
Hadoop分布式集群安装配置
1.1 安装环境操作系统deepin 15.11, VMware Workstation,hadoop 3.1.3 版本.在deepin 操作系统中安装 VMware Workstation,在 V ...

hadoop yarn 集群配置

hadoop yarn 集群配置相关推荐

最新文章

热门文章