Hadoop | 【02】架构简介
文章目录
- 一、hadoop简介
- 1.1 特性
- 二、HDFS架构
- 二、YARN 架构
- 三、MapReduce架构
- 四、HDFS、YARN、MapReduce三者关系
一、hadoop简介
Hadoop 是由Apache开发的分布式系统的基础架构，主要解决海量数据的存储和分析计算问题；
1.1 特性
高可靠性：
底层维护多个数据副本，若某个存储出现故障，也不会丢失数据；
高扩展性：
可动态扩张，在集群中分配任务数据；
高效性：
在MapReduce下，能够并行工作，提高处理速度；
高容错性：
能够自动将失败的任务重新分配；
若其中一台服务器宕机，则能够自动将任务分配给其他服务器运作；
二、HDFS架构
该架构是一个分布式文件系统；
NameNode：存储文件的元数据；【文件名、文件属性、文件的块列表、以及所在的DataNode】；DataNode：本地文件系统存储文件系统以及块数据的校验和；SNameNode：每隔一段时间就将NameNode的数据进行备份；
二、YARN 架构
Yet Another Resource Negotiator简称YARN ，另一种
资源协调者，是Hadoop的资源管理器；
在hadoop1.x版本中，没有该架构，直至2.x才出现；是由1.x中的MapReduce分离出来的；
ResourceManager(RM)：管理整个集群资源；NodeManager(NM)：管理节点服务器资源；ApplicationMaster(AM)：管理单任务运行；Container：相当于独立的服务器，能够运行任务；
三、MapReduce架构
该过程分为两阶段：
- Map阶段并行处理输入数据；
- Reduce阶段对Map结果进行汇总；
四、HDFS、YARN、MapReduce三者关系
Hadoop | 【02】架构简介相关推荐
- Hadoop运维工程师专家之路--第二章Hadoop架构简介
第二章Hadoop架构简介 本章包括 l Hadoop架构 l 分布式集群 l HDFS架构 l YARN架构 本章介绍Hadoop架构.在你学习管理Hadoop集群之前,有必要先了解下Had ...
- HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
- Cortex-M0(+)内核的处理器架构简介
Cortex-M0(+)内核的处理器架构简介 2015年03月02日 16:51:12 阅读数:3158 系统架构 Cortex-M0处理器具有32位系统总线接口,以及32位地址线,即有4GB的地址空 ...
- 开源分布式数据库中间件MyCat架构简介（二）——基于MyCat的分库分表，读写分离，水平切分和垂直切分实现原理
目录 前言 基于MyCat的分库分表,读写分离,水平切分和垂直切分实现原理 一.关于Mycat 二.Mycat 实现原理 三.MyCat 应用场景 四.MyCat 未来展望 五.Mycat 中相关概念 ...
- Hadoop体系架构
大数据时代所面临的两个问题为,数据的存储和计算 Hadoop的出现就解决了这两种所面临的问题. Hadoop是一个由Apache基金会所开发的分布式系统基础架构. Hadoop是一个开源框架,可编写和 ...
- 大数据分类和架构简介
第 1 部分: 大数据分类和架构简介 概述 大数据可通过许多方式来存储.获取.处理和分析.每个大数据来源都有不同的特征,包括数据的频率.量.速度.类型和真实性.处理并存储大数据时,会涉及到更多维度,比 ...
- LoadRunner系统架构简介与运行原理
1.LoadRunner系统架构简介 LoadRunner是通过创建虚拟用户来代替真实实际用户来操作客户端软件比如Internet Explorer,来向IIS.Apache等Web服务器发送HTTP ...
- Hadoop mapreduce框架简介
传统hadoop MapReduce架构(老架构) 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路: 1.首先用户程序 (JobClient) 提交了一个 job,job 的信息会 ...
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
编者按:HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase.Hive这两个核心工具也随着Hadoop发展变得越来越重要.本文作者张震的博文<Thinking in BigD ...
- 单线程与多线程网络程序架构简介
文章目录 1 单线程与多线程网络程序架构简介 1.1 服务端单线程处理多客户端 1.2 服务端多进程多端口处理多客户端 1.3 服务端多线程单端口分组处理多客户端 1.4 服务端多线程多端口分组处理多 ...
最新文章
- ImageView宽度填满屏幕，高度自适应
- 2020年行政区划代码_2020年梧州市行政区划，了解梧州市有几个区，详细数据
- Bear and Finding Criminals
- SAP ABAP实用技巧介绍系列之 ABAP内存管理学习
- java soap协议头_自己调用webservice方法总结（带请求头SoapHeader）
- xaml语言建立首个win8 Metro应用，rss阅读器
- 彻底解决 linux 下 buff/cache 占用过高的问题
- 百度开源地图服务器搭建
- 设置老版版谷歌浏览器自动启用flash
- 如何在前台输出代码＜xmp＞，标签，并且是内容自动换行
- echarts 坐标自适应,实现 ECharts 图表自适应
- Android Studio的Android Device Monitor在哪儿？
- 使得法国文化公司的根深蒂固
- 会员招募html5,会员招募活动策划方案
- 基于心理账户、效应及决策，聊聊股票App的设计
- 有了它，实车测试数据记录、分析、管理so easy~
- pythonrequest爬取小说_python爬取斗破苍穹小说
- 搭建图片加密平台，扫码支付后简单获取密码
- 分块算法：莫队（持续更新）
- Java商城首页优化_Java 实战：记一次线上商城系统高并发的优化