Yarn篇--搭建yarn集群
一。前述
有了上次hadoop集群的搭建,搭建yarn就简单多了。废话不多说,直接来
二。规划
三。配置如下
yarn-site.xml配置
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>//定义yarn的机制
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name//集群Id
<value>cluster1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点
<value>node03</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点
<value>node04</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>//与zookeeper通信
<value>node02:2181,node03:2181,node04:2181</value>
</property>
mapred-site.xm配置
<property>
<name>mapreduce.framework.name</name>//使用yran
<value>yarn</value>
</property>
PS :slaves中既是datanode配置同时也是nodemanger的配置
四。配置免密
同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密
五。启动顺序
养成一个好习惯,先把集群停掉,然后再添加配置,(其实不停也行)
先在node01节点上手动先启动hdfs集群start-dfs.sh
node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)
然后再在node03和node04手动启动resourcemanger
yarn-daemon.sh start resourcemanager
六。验证
自此集群搭建成功!!!
持续更新中。。。。,欢迎大家关注我的公众号LHWorld.
转载于:https://www.cnblogs.com/LHWorldBlog/p/8219453.html
Yarn篇--搭建yarn集群相关推荐
- Hive篇--搭建Hive集群
一.前述 Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样. 二.具体实现 a)内嵌Derby方式 使用derb ...
- YARN框架概述与集群部署
文章目录 1 Apache Hadoop YARN框架概述 1.1 YARN产生和发展简史 1.2 Hadoop演进阶段 1.3 YARN简介 1.4 YARN与MRv1区别 2 YARN集群介绍 2 ...
- 使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇
使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建zo ...
- 转-Kafka【第一篇】Kafka集群搭建
转自: https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景 在我们大 ...
- CentOS7 使用 kubeadm 搭建 kubernetes 集群(极速篇)
序言 本人在安装 k8s 的过程中曲折不断,故写下此文,让后人可以少走弯路. 这篇文章只描述如何从0开始快速搭建 k8s 集群,想更详细了解具体遇到问题的分析过程和解决方案,可阅读另一篇文章 -- C ...
- CentOS7 使用 kubeadm 搭建 kubernetes 集群(踩坑篇)
序言 本人在搭建 k8s 集群的过程中曲折不断,故写下此文,欲与"同是天涯沦落人"分享. 这篇文章会详细描述安装过程中遇到的问题,以及本人相应的解决办法,如读者只想快速搭建 k8s ...
- ZooKeeper实战篇之zk集群搭建、zkCli.sh操作、权限控制ACL、ZooKeeper JavaAPI使用
在看了史上最全的Zookeeper原理详解(万字长文),了解Zookeeper的原理后,你是不是蠢蠢欲动想着手实践呢?这篇文章将手把手教你在Linux上搭建ZooKeeper集群,并调用相关API实现 ...
- 深入学习 Redis 之第 1 篇 —— Docker 安装 Redis 并搭建主从复制集群
环境要求:CentOS7 X64 位,Redis6.0+ 理论基础 1.什么是 Redis 的主从复制? Redis 的复制功能支持多个库之间的数据同步.一类是主库(master),另一类是从库(sl ...
- cdh搭建hadoop集群_Hadoop宿醉:使用Apache Whirr启动hadoop集群CDH4
cdh搭建hadoop集群 这篇文章是关于如何在EC2实例上启动CDH4 MRv1或CDH4 Yarn集群的. 据说您可以在Whirr的帮助下在5分钟内启动一个集群! 当且仅当一切工作正常时,这才是正 ...
最新文章
- 阿尔伯塔大学博士毕业论文:基于图结构的自然语言处理
- 模拟 Codeforces Round #249 (Div. 2) C. Cardiogram
- JAVASE——File类
- 神策数据荣获北京市广播电视局优秀推荐项目
- python参数传递_python中的*和**参数传递机制
- PHP的替换strstr strtr str_replace substr_replace
- 利用日志传送实现高可用性
- iOS之“微信支付”开发流程
- HBase Replication源码解析之HLog读取
- 基于SOUI开发的应用展示
- [设计模式]策略模式
- scala shuffle
- 年度最佳代码“不管你们信不信,反正我信了”
- nodejs express use 传值_再也不怕面试官问你express和koa的区别了
- linux centeros下Redis的安装
- 共享上网掉线后的排错
- C语言· 实现各进制间的相互转换
- 色鬼色狼和色仙的区别
- 人工神经网络算法有哪些,人工神经网络算法优点
- php怎样截取图片部分,PHP截取指定图片大小的方法