视频来源：中国大学MOOC中厦门大学林子雨老师的课程《大数据技术原理与应用》

1.Hadoop生态环境

1.1 HDFS

HDFS是一个分布式文件系统，是做顺序读写的。HDFS主要负责整个分布式文件的存储，即怎么用成百上千台服务器完成数据的存储。

1.2 YARN

YARN主要负责资源的调度，即数据存储之后需要进行相关的处理，处理之前需要有相关的框架去调度计算资源，底层资源主要靠YARN框架进行调度，YARN专门负责调度内存、cpu、带宽等计算资源。

以上组件如何完成具体的计算工作：

1.3 MapReduce

MapReduce不是做实时计算，而是做离线计算和批处理的。MApReduce是基于磁盘的计算，MApReduce在做数据处理的时候，需要把数据写到磁盘中，处理结束后，需要把数据写到分布式文件系统中。

Hadoop生态系统---各个模块介绍相关推荐

Hadoop生态系统的详细介绍
hadoop生态系统的详细介绍简介 Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.今 ...
hadoop生态系统的详细介绍-详细一点
前提日常喜欢看一些微信分享的好文,总结下来,可以作为过滤器吧(节约更多人的时间!),在这里引用的是别人的文章!对原文的作者表示感谢!确实写的很好! hadoop生态系统的详细介绍简介 Hadoop ...
Hadoop背景、模块介绍、架构
阿里巴巴飞天大数据架构体系与Hadoop生态系统
很多人问阿里的飞天大数据平台.云梯2.MaxCompute.实时计算到底是什么,和自建Hadoop平台有什么区别. 先说Hadoop 什么是Hadoop? Hadoop是一个开源.高可靠.可扩展的分布 ...
大数据入门（Hadoop生态系统）
Hadoop生态系统为大数据领域提供了开源的分布式存储和分布式计算的平台,这一章我们进行Hadoop生态系统的入门学习,介绍其中分布式文件系统HDFS.分布式资源调度YARN.分布式计算框架MapRe ...
大数据系统架构-Hadoop生态系统
Hadoop是较早用于处理大数据集合的分布式存储计算基础架构,通过Hadoop,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的为例执行告诉运算和存储.简单来说,Hadoop是一 ...
Hadoop书籍和网络资源介绍
本文介绍Hadoop Core(MapReduce和HDFS)相关的书籍和网络资源. [Hadoop书籍] 这些书均可以从http://ishare.iask.sina.com.cn/上下载电子版,有 ...
GitChat · 大数据 | 一步一步学习大数据：Hadoop 生态系统与场景
目录(?)[-] Hadoop概要 Hadoop相关组件介绍 HDFS Yarn Hive HBase Spark Other Tools Hadoop集群硬件和拓扑规划硬件配置软件配置 Hado ...
手把手教你搭建Hadoop生态系统伪分布式集群
Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了. 手把手教你搭建Hadoop生态 ...

Hadoop生态系统---各个模块介绍

1.Hadoop生态环境

1.1 HDFS

1.2 YARN

1.3 MapReduce

Hadoop生态系统---各个模块介绍相关推荐

最新文章

热门文章