大家好，我是不温卜火，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！博客主页：https://buwenbuhuo.blog.csdn.net/

前言
一、Hadoop的优化与发展
- 1.1 Hadoop的局限与不足
- 1.2 针对Hadoop的改进与提升
二、HDFS2.0的新特征及HDFS HA集群的搭建
- 2.1 HDFS1.0组件及其功能的简单回顾
- - 2.1.2 名称节点和数据节点
  - - 1. 名称节点（NameNode）
    - 2. 第二名称节点(SecondaryNameNode)
    - 3. 数据节点（DataNode）
- 2.2 HDFS High Availability(HA)
- - 2.2.1 HDFS2.0较1.0的改进
  - 2.2.2 High Availability背景知识
  - - 1. 单点故障、高可用
    - 2. 高可用如何实现
    - 3. 可用性评判标准—x个9
    - 4. HA系统设计核心问题
  - 2.2.3 HDFS NameNode单点故障问题
  - 2.2.4 HDFS HA解决方案—QJM
  - - 1. QJM—主备切换、脑裂问题解决
    - 1. QJM—主备数据同步问题解决
  - 2.2.5 HDFS HA环境搭建
  - - 1. 集群规划
    - 2. 配置Zookeeper集群
    - 3. 配置HDFS-HA集群
    - 4. 启动HDFS-HA集群
    - 4. 配置HDFS-HA自动故障转移
- 2.3 HDFS Federation(联邦机制)
- - 2.3.1 当前HDFS体系架构
  - 2.3.2 局限性
  - 2.3.3 HDFS Federation架构
  - - 1. 简介
    - 2. HDFS Federation的访问方式
    - 2. 好处
    - 3. HDFS Federation配置示例
三、新一代资源管理调度框架YARN
- 3.1 YARN产生和发展简史
- - 3.1.1 Hadoop演进阶段
  - - 1. 阶段1：Ad Hoc集群
    - 2. 阶段2：HOD集群
    - 3. 阶段3：共享计算集群
    - 4. 阶段4：YARN集群
  - 3.1.2 对YARN的需求
- 3.2 YARN简介
- 3.3 YARN与MRv1区别
- - 3.3.1 MRv1 架构
  - 3.3.2 MRv1 缺陷
  - 3.3.3 YARN架构
  - 3.3.4 YARN 与 MRv1 区别
四、YARN集群部署及YARN HA集群的搭建
- 4.1 YARN集群部署
- - 4.1.1 集群角色
  - 4.1.2 集群规划
  - 4.1.3 环境准备
  - 4.1.4 添加配置文件
  - 4.1.5 启动查看
- 4.2 YARN HA 集群及其部署
- - 4.2.1 高可用 HA 架构
  - 4.2.2 故障转移原理
  - 4.2.3 安装 Zookeeper 集群
  - 4.2.4 HA配置
  - - 1. 集群规划
    - 2. 配置yarn-site.xml
    - 3. 启动HA集群
    - 4. 测试HA集群
    - 5. 验证故障切换
五、YARN 架构组件及原理
- 5.1 YARN 组件及功能
- - 5.1.1 ResourceManager
  - 5.1.2 ApplicationMaster
  - 5.1.3 NodeManager
  - 5.1.4 Container
- 5.2 YARN 通信协议
- 5.3 YARN 工作流程
六、前人的肩膀

前言

此系列主要为我的学弟学妹们所创作，在某些方面可能偏基础。如果读者感觉较为简单，还望见谅！如果文中出现错误，欢迎指正~

本文主要介绍了Hadoop再探讨High Availability(HA)及YARN原理介绍，除此之外还有High Availability(HA)集群搭建的具体搭建过程。

一、Hadoop的优化与发展

1.1 Hadoop的局限与不足

Hadoop1.0的核心组件（仅指MapReduce和HDFS，不包括Hadoop生态系统内的Pig、Hive、HBase等其他组件）

主要存在以下不足：

抽象层次低，需人工编码
表达能力有限
开发者自己管理作业（Job）之间的依赖关系
难以看到程序整体逻辑
执行迭代操作效率低
资源浪费（Map和Reduce分两阶段执行）
实时性差（适合批处理，不支持实时交互式）

1.2 针对Hadoop的改进与提升

Hadoop的优化与发展主要体现在两个方面：

一方面是Hadoop自身两大核心组件MapReduce和HDFS的架构设计改进
另一方面是Hadoop生态系统其它组件的不断丰富，加入了Pig、Tez、Spark和Kafka等新组件

深入浅出学大数据（五）Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍相关推荐

2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的集群搭建以及shell启动命令脚本编写一.搭建 ...
【大数据之Hadoop】三十一、HDFS集群迁移之Apache和Apache集群间数据拷贝
数据迁移场景: 冷热集群数据分类存储:集群数据整体迁移:数据的准实时同步,目的在于数据的双备份可用. 数据迁移需要考虑的因素: 带宽.性能.增量同步(原始数据文件进行了追加写.被删除或重命名) ...
视频教程-赵强老师：大数据从入门到精通（12）集群HA-Hadoop
赵强老师:大数据从入门到精通(12)集群HA 毕业于清华大学,拥有超过13年的工作经验. Oracle认证讲师,拥有6年以上授课经验.精通Oracle数据库.中间(Weblogic)和大数据Hadoo ...
Hadoop 2.x 完全分布式HA集群环境搭建
Hadoop 2.x 完全分布式HA集群环境搭建目录 Hadoop 2.0 环境搭建前提:环境准备第一步:修改hadoop-env.sh配置文件,配置好JAVA_HOME环境变量第二步:修改h ...
大数据系列（hadoop） Hadoop+Zookeeper 3节点高可用集群搭建
---恢复内容开始--- 一.集群规划主机名 ip NameNode DataNode Yarn ZooKeeper JournalNode node01 192.168.1.201 是是否是 ...
第七章：Hadoop+Zookeeper 3节点高可用集群搭建和原理解释
一,原理先说一下Zookeeper在Hadoop集群的作用,以前我们学习Hadoop伪分布式的时候没有用到Zookeeper是因为伪分布式只有一个NameNode,没有Active和Standby状 ...
hadoop HA集群搭建（亲测）
1.hadoop-env.sh 2.core-site.xml <configuration>  <prop ...
基于ZooKeeper的Hadoop HA集群搭建
集群的规划 Zookeeper集群: 192.168.142.12 (bigdata12) 192.168.142.13 (bigdata13) 192.168.142.14 (bigdata14) ...
Hadoop分布式高可用HA集群搭建笔记（含Hive之构建），java高级架构师视频
| HOSTNAME | IP | 操作系统 | | - | - | - | | masterndoe | 192.168.122.128 | Manjaro 20.1 | | slavenode1 ...

深入浅出学大数据（五）Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍

目录

前言

一、Hadoop的优化与发展

1.1 Hadoop的局限与不足

1.2 针对Hadoop的改进与提升

深入浅出学大数据（五）Hadoop再探讨High Availability(HA)集群搭建及YARN原理介绍相关推荐

最新文章

热门文章