Hadoop的简单概述以及架构

1、hadoop概述：hadoop是一个适合海量数据分布式存储和分布式计算的平台。

2、hadoop是一个统称，hadoop主要包含三大组件：

（1）hdfs：是一个分布式存储框架，适合海量数据存储

（2）mapreduce：是一个分布式计算框架，适合海量数据计算

（3）yarn：是一个资源调度平台，负责给计算机框架分配计算资源

一、hdfs架构分析

1、负责数据的分布式存储

2、主从结构：主节点 namenode 从节点 datanode

3、namenode负责：接收用户的操作请求，是用户操作的入口

维护文件系统的目录结构，称为命名空间

4、datenode负责：存储数据

二、yarn架构分析

1、资源的调度和管理平台

2、主从结构：主节点：ResourceManger 从节点：NodeManger

3、ResourcManger负责：集群资源的分配和调度，MapReduce、Storm、Spark等应用，必须实现

Application接口才能被RM管理

4、NodeManger负责：单节点资源的管理（cpu+内存）

三、mapreduce架构分析

1、依赖磁盘io的批量处理计算模型

2、主从结构：主节点：MRAppMaster 从节点：task

3、MRAppMaster负责：接收客户端提交的计算任务

 把计算任务分给NodeManager的Container中执行，即任务调度Container是YARN中资源的抽象，它封装了某个节点上一定量的资源（CPU和内存两类资源）Container由ApplicationMaster向ResourceManager申请的，由ResouceManager中的资源调度器异步             分配给ApplicationMasterContainer的运行是由ApplicationMaster向资源所在的NodeManager发起的监控Container中Task的执行情况

4、Task负责：处理数据

3、hadoop特点

1、扩容能力：能可靠的存储和处理pb级别的数据，如果数据量更大，增加节点就可以了

2、成本低：可以通过普通机器组成的服务器集群来分发和处理数据，这些服务器的节点可以达到上千个

3、高效率：通过分发计算程序，hadoop可以在数据所在的节点上（本地）并行的处理他们，这使得处理非常的迅速

4、可靠性：hadoop能够自动的维护数据的多份副本，并且在任务失败后能够自动的重新部署计算任务

Hadoop的简单概述以及架构相关推荐

Hadoop和Spark简单概述
文章目录 Hadoop和Spark概述一. 简单说说Hadoop 1. Hadoop的产生背景 2. Hadoop核心技术二. 简单说说Spark 1. Spark的官方定义 2. Spark的核 ...
Hadoop之HDFS概述
Hadoop之HDFS概述目录 HDFS产生背景 HDFS概念 HDFS优缺点 HDFS组成架构 1. HDFS产生背景随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操 ...
分享：阿里P8架构师深度概述分布式架构
简介作为一名架构师,我们要专业,要能看懂代码,及时光着臂膀去机房,也能独挡一面!及时同事搞不定问题,或者撂挑子,你也能给老大一个坚定的眼神:不怕,有我在!还能在会议室上滔滔不绝,如若无人,让不懂技术 ...
[MAUI 项目实战] 手势控制音乐播放器（一）：概述与架构
这是一篇系列博文.请关注我,学习更多.NET MAUI开发知识! [MAUI 项目实战] 手势控制音乐播放器(一): 概述与架构 [MAUI 项目实战] 手势控制音乐播放器(二): 手势交互 [MAU ...
java虚拟机-简单概述(五月的仓颉)
1 java的简单概述 java版本介绍 1.Java SE(标准版),主要活跃在桌面领域,主要包含了Java API组件. 2.Java EE(企业版),活跃在企业级领域,除了包含Java API ...
一个简单的三层架构例子（.NET入门）
最近开始学习.NET 用的是c# 目前要用三层架构的模式开发一个简单的图书管理系统,不过以为刚接触这门技术.做起来分外吃力,甚至连究竟要写些什么都不清楚. 于是乎上网到处找寻三层架构的基础入门知识,终 ...
构建自己的简单微服务架构（开源）
构建自己的简单微服务架构(开源) 原文:构建自己的简单微服务架构(开源) 前言本篇仅作引导,内容较多,如果阅读不方便,可以使用电脑打开我们的文档官网进行阅读.如下图所示: 文档官网地址:https: ...
WPF MVVM 架构 Step By Step(2)（简单的三层架构示例及粘合代码GLUE code）
WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GLUE code) 原文:WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GL ...
搭建Hadoop的HA高可用架构（超详细步骤+已验证）
一.集群的规划 Zookeeper集群: 192.168.182.12 (bigdata12)192.168.182.13 (bigdata13)192.168.182.14 (bigdata14) ...

Hadoop的简单概述以及架构

Hadoop的简单概述以及架构

1、hadoop概述：hadoop是一个适合海量数据分布式存储和分布式计算的平台。

2、hadoop是一个统称，hadoop主要包含三大组件：

（1）hdfs：是一个分布式存储框架，适合海量数据存储

（2）mapreduce：是一个分布式计算框架，适合海量数据计算

一、hdfs架构分析

二、yarn架构分析

三、mapreduce架构分析

3、hadoop特点

1、扩容能力：能可靠的存储和处理pb级别的数据，如果数据量更大，增加节点就可以了

2、成本低：可以通过普通机器组成的服务器集群来分发和处理数据，这些服务器的节点可以达到上千个

3、高效率：通过分发计算程序，hadoop可以在数据所在的节点上（本地）并行的处理他们，这使得处理非常的迅速

4、可靠性：hadoop能够自动的维护数据的多份副本，并且在任务失败后能够自动的重新部署计算任务

Hadoop的简单概述以及架构相关推荐

最新文章

热门文章

Hadoop的简单概述以及架构

Hadoop的简单概述以及架构

1、hadoop概述：hadoop是一个适合海量数据分布式存储和分布式计算的平台。

2、hadoop是一个统称，hadoop主要包含三大组件：

（1）hdfs：是一个分布式存储框架，适合海量数据存储

（2）mapreduce：是一个分布式计算框架，适合海量数据计算

一、hdfs架构分析

二、yarn架构分析

三、mapreduce架构分析

3、hadoop特点

1、扩容能力：能可靠的存储和处理pb级别的数据，如果数据量更大，增加节点就可以了

2、成本低：可以通过普通机器组成的服务器集群来分发和处理数据，这些服务器的节点可 以达到上千个

3、高效率：通过分发计算程序，hadoop可以在数据所在的节点上（本地）并行的处理他 们，这使得处理非常的迅速

4、可靠性：hadoop能够自动的维护数据的多份副本，并且在任务失败后能够自动的重新 部署计算任务

Hadoop的简单概述以及架构相关推荐

最新文章

热门文章

2、成本低：可以通过普通机器组成的服务器集群来分发和处理数据，这些服务器的节点可以达到上千个

3、高效率：通过分发计算程序，hadoop可以在数据所在的节点上（本地）并行的处理他们，这使得处理非常的迅速

4、可靠性：hadoop能够自动的维护数据的多份副本，并且在任务失败后能够自动的重新部署计算任务