一。前述

有了上次hadoop集群的搭建,搭建yarn就简单多了。废话不多说,直接来

二。规划

三。配置如下

yarn-site.xml配置

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>//定义yarn的机制
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name//集群Id
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>//与zookeeper通信
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

mapred-site.xm配置
<property>
        <name>mapreduce.framework.name</name>//使用yran
        <value>yarn</value>
  </property>
PS  :slaves中既是datanode配置同时也是nodemanger的配置

四。配置免密

同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密
五。启动顺序
养成一个好习惯,先把集群停掉,然后再添加配置,(其实不停也行)

先在node01节点上手动先启动hdfs集群start-dfs.sh

node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)

然后再在node03和node04手动启动resourcemanger

yarn-daemon.sh start resourcemanager

六。验证

自此集群搭建成功!!!

持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

转载于:https://www.cnblogs.com/LHWorldBlog/p/8219453.html

Yarn篇--搭建yarn集群相关推荐

  1. Hive篇--搭建Hive集群

    一.前述 Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样. 二.具体实现 a)内嵌Derby方式 使用derb ...

  2. YARN框架概述与集群部署

    文章目录 1 Apache Hadoop YARN框架概述 1.1 YARN产生和发展简史 1.2 Hadoop演进阶段 1.3 YARN简介 1.4 YARN与MRv1区别 2 YARN集群介绍 2 ...

  3. 使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇

    使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建zo ...

  4. 转-Kafka【第一篇】Kafka集群搭建

    转自: https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景 在我们大 ...

  5. CentOS7 使用 kubeadm 搭建 kubernetes 集群(极速篇)

    序言 本人在安装 k8s 的过程中曲折不断,故写下此文,让后人可以少走弯路. 这篇文章只描述如何从0开始快速搭建 k8s 集群,想更详细了解具体遇到问题的分析过程和解决方案,可阅读另一篇文章 -- C ...

  6. CentOS7 使用 kubeadm 搭建 kubernetes 集群(踩坑篇)

    序言 本人在搭建 k8s 集群的过程中曲折不断,故写下此文,欲与"同是天涯沦落人"分享. 这篇文章会详细描述安装过程中遇到的问题,以及本人相应的解决办法,如读者只想快速搭建 k8s ...

  7. ZooKeeper实战篇之zk集群搭建、zkCli.sh操作、权限控制ACL、ZooKeeper JavaAPI使用

    在看了史上最全的Zookeeper原理详解(万字长文),了解Zookeeper的原理后,你是不是蠢蠢欲动想着手实践呢?这篇文章将手把手教你在Linux上搭建ZooKeeper集群,并调用相关API实现 ...

  8. 深入学习 Redis 之第 1 篇 —— Docker 安装 Redis 并搭建主从复制集群

    环境要求:CentOS7 X64 位,Redis6.0+ 理论基础 1.什么是 Redis 的主从复制? Redis 的复制功能支持多个库之间的数据同步.一类是主库(master),另一类是从库(sl ...

  9. cdh搭建hadoop集群_Hadoop宿醉:使用Apache Whirr启动hadoop集群CDH4

    cdh搭建hadoop集群 这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的. 据说您可以在Whirr的帮助下在5分钟内启动一个集群! 当且仅当一切工作正常时,这才是正 ...

最新文章

  1. 阿尔伯塔大学博士毕业论文:基于图结构的自然语言处理
  2. 模拟 Codeforces Round #249 (Div. 2) C. Cardiogram
  3. JAVASE——File类
  4. 神策数据荣获北京市广播电视局优秀推荐项目
  5. python参数传递_python中的*和**参数传递机制
  6. PHP的替换strstr strtr str_replace substr_replace
  7. 利用日志传送实现高可用性
  8. iOS之“微信支付”开发流程
  9. HBase Replication源码解析之HLog读取
  10. 基于SOUI开发的应用展示
  11. [设计模式]策略模式
  12. scala shuffle
  13. 年度最佳代码“不管你们信不信,反正我信了”
  14. nodejs express use 传值_再也不怕面试官问你express和koa的区别了
  15. linux centeros下Redis的安装
  16. 共享上网掉线后的排错
  17. C语言· 实现各进制间的相互转换
  18. 色鬼色狼和色仙的区别
  19. 人工神经网络算法有哪些,人工神经网络算法优点
  20. php怎样截取图片部分,PHP截取指定图片大小的方法

热门文章

  1. leetcode:Single Number【Python版】
  2. 转载:28个Unix/Linux的命令行神器
  3. http请求消息体和响应消息体
  4. Dying In The Sun
  5. 【python】 调用selenium中 ChromeDriver不匹配的问题
  6. 接口测试工具-Apipost变量的定义和使用
  7. 全栈路线_程序员该走全栈路线还是深度专家路线?
  8. 遂冀机器人_409支队伍1006名选手角逐第12届河北省青少年机器人竞赛
  9. IT入门?推荐首选学习HTML5大前端
  10. PS制作棱镜化多边形照片效果