Hadoop生态系统主要架构图汇总

1 hadoop1.0时期架构

hadoop1.0时期架构

2 hadoop2.0时期架构

hadoop2.0时期架构

3 hdfs架构

hdfs架构

【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求

【Secondary NameNode】：NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active NameNode 出现故障时，快速切换为新的 Secondary NameNode。

【Datanode】：Slave（有多个）；存储实际的数据块；执行数据块读 / 写

【Client】：与 NameNode 交互，获取文件位置信息；与 DataNode 交互，读取或者写入数据；管理 HDFS、访问 HDFS。

4 MapReduce架构

MapReduce架构

或

MapReduce架构

或

MapReduce架构

或

MapReduce架构

5 yarn架构

yarn架构

6 hadoop1.0与hadoop2.0比较图

hadoop1.0与hadoop2.0比较图

7、Hive（基于MR的数据仓库）

由Facebook开源，最初用于海量结构化日志数据统计；ETL（Extraction-Transformation-Loading）工具构建在Hadoop之上的数据仓库；数据计算使用 MapReduce，数据存储使用HDFS
Hive 定义了一种类 SQL 查询语言——HQL
类似SQL，但不完全相同
通常用于进行离线数据处理（采用 MapReduce）；可认为是一个 HQL→MR 的语言翻译器

8、Hbase（分布式数据库）

源自 Google 的 Bigtable 论文
发表于 2006 年 11 月
Hbase 是 Google Bigtable 克隆版

作者：小小少年Boy
链接：https://www.jianshu.com/p/061040243935
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Hadoop生态系统主要架构相关推荐

大数据晋级之路（4）Hadoop生态系统体系架构及基本概念
一.基本概念机架:HDFS集群,由分布在多个机架上的大量DataNode组成,不同机架之间节点通过交换机通信,HDFS通过机架感知策略,使NameNode能够确定每个DataNode所属的机架ID, ...
阿里巴巴飞天大数据架构体系与Hadoop生态系统
很多人问阿里的飞天大数据平台.云梯2.MaxCompute.实时计算到底是什么,和自建Hadoop平台有什么区别. 先说Hadoop 什么是Hadoop? Hadoop是一个开源.高可靠.可扩展的分布 ...
大数据系统架构-Hadoop生态系统
Hadoop是较早用于处理大数据集合的分布式存储计算基础架构,通过Hadoop,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的为例执行告诉运算和存储.简单来说,Hadoop是一 ...
Hadoop生态系统完整组件及其在架构中的作用
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/cjDaShuJu_Java/article/details/80050858 (1)Hadoop生态 ...
Hadoop 生态系统
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
GitChat · 大数据 | 一步一步学习大数据：Hadoop 生态系统与场景
目录(?)[-] Hadoop概要 Hadoop相关组件介绍 HDFS Yarn Hive HBase Spark Other Tools Hadoop集群硬件和拓扑规划硬件配置软件配置 Hado ...
Hadoop概念学习系列之Hadoop 生态系统
当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...
手把手教你搭建Hadoop生态系统伪分布式集群
Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了. 手把手教你搭建Hadoop生态 ...
Hadoop生态系统的详细介绍
hadoop生态系统的详细介绍简介 Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.今 ...

Hadoop生态系统主要架构

Hadoop生态系统主要架构图汇总

1 hadoop1.0时期架构

2 hadoop2.0时期架构

3 hdfs架构

4 MapReduce架构

5 yarn架构

6 hadoop1.0与hadoop2.0比较图

7、Hive（基于MR的数据仓库）

8、Hbase（分布式数据库）

Hadoop生态系统主要架构相关推荐

最新文章

热门文章