一、Hadoop优势

高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失
高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点（在执行时可以动态增加节点与删除节点）
高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度
高容错性：能够自动将失败的任务重新分配

二、Hadoop组成

HDFS：主要解决海量数据的存储问题，分布式文件系统

NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等
DataNode：在本地文件系统存储文件块数据，以及块数据的校验和
Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份

YARN：另一种资源协调者，是Hadoop的资源管理器

ResourceManager（RM）：管理整个集群资源（内存，CPU）
NodeManager（NM）：管理单个节点服务器资源
ApplicationMaster（AM）：管理单个任务的运行
Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存，CPU，磁盘，网络等（属于虚拟化技术）

客户端可以有多个
集群上可以运行多个ApplicationMaster
每个NodeManager上可以有多个Container

MapReduce：将计算过程分为两个阶段，Map和Reduce

Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总

HDFS，YARN，MapReduce三者关系

当客户端传入命令时，首先通过ResourceManager找到一台节点，开启一个Container，用于处理这个任务（ApplicationMaster），然后任务经过调度会告知ResourceManager该任务需要运行的资源，然后ApplicationMaster负责开启MapTask，这一阶段称为Map阶段，之后将Map阶段获取到的结果写到磁盘上，这一阶段称之为Reduce阶段，写入磁盘写入的是DataNode，这时还会在NameNode上进行记录元数据，还会在Secondary NameNode进行备份

Hadoop学习心得相关推荐

神经网络程序设计学习心得
神经网络程序设计学习心得简枢 SB16225001 本学期有幸再次选择了孟宁老师的2016年秋-网络程序设计课程.该课程主要聚焦于神经网络程序设计,基于深度学习神经网络等机器学习技术实现一个医学 ...
DOCKER学习心得
前言: Docker的主要学习心得来源于<docker技术入门与实战> --2019.1.1->2019.1.5 la 着重从基础部分--实例分析--进阶技能--开源项目几个部分来介 ...
Java EE学习心得
–Java EE学习心得 1. 称为编程专家的秘诀是: 思考-----编程--------思考------编程--.. 编程不能一步到位,不能一上来就编,必须先思考如何写,怎样写?然后再编程 ...
Hadoop学习笔记一简要介绍
Hadoop学习笔记一简要介绍这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
我的hadoop学习之路
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上. Ha ...
Assembly学习心得
http://blog.csdn.net/etmonitor/ Assembly学习心得说明: 最近开始准备把学到的.NET知识重新整理一遍,眼过千遍不如手过一遍,所以我准备记下我的学习心得,已备参 ...
对于mysql存储过程感想_存储过程学习心得
存储过程学习心得 (2014-12-28 17:28:06) 标签: it 我使用过几次SQL Server,但所有与数据库的交互都是通过应用程序的编码来实现的.我不知到在哪里使用存储过程,也不了解实 ...
Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
好程序员Web前端教程分享Vue学习心得
为什么80%的码农都做不了架构师?>>> 好程序员Web前端教程分享Vue学习心得,Vue是一套用于构建用户界面的渐进式框架.与其它大型框架不同的是,Vue 被设计为可以自底向 ...
大学计算机课英语心得体会,关于计算机网络辅助大学英语教学的思考学习心得...
关于计算机网络辅助大学英语教学的思考学习心得［摘要］计算机网络辅助教学可以增强学生的学习兴趣,提高他们自觉学习的能力,因而得到了大多数学生的认可,取得了比较显著的成效.计算机网络辅助教学也对大学英语 ...

Hadoop学习心得