初识Hadoop（核心组件与应用）

1、核心组件
核心组件包括Hadoop的基础组件HDFS、MapReduce和Yarn，以及其他常用组件如：HBase、Hive、Hadoop Streaming、Zookeeper等。

2、组件介绍：
HDFS：分布式海量数据存储功能
Yarn：提供资源调度与任务管理功能
资源调度：根据申请的计算任务，合理分配集群中的计算节点(计算机)。
任务管理：任务在执行过程中，负责过程监控、状态反馈、任务再调度等工作。
MapReduce：分布式并行编程模型和计算框架。解决分布式编程门槛高的问题，基于其框架对分布式计算的抽象map和reduce，可以轻松实现分布式计算程序。
Hive：提供数据摘要和查询的数据仓库。解决数据仓库构建问题，基于Hadoop平台的存储与计算，与传统SQL相结合，让熟悉SQL的编程人员轻松向Hadoop平台迁移。
Streaming：解决非Java开发人员使用Hadoop平台的语言问题，使各种语言如C++、python、shell等均可以无障碍使用Hadoop平台。
HBase：基于列式存储模型的分布式数据库。解决某些场景下，需要Hadoop平台数据及时响应的问题。
Zookeeper：分布式协同服务。主要解决分布式下数据管理问题：统一命名、状态同步、集群管理、配置同步等。

3、Hadoop生态圈

初识Hadoop（核心组件与应用）相关推荐

细细品味大数据--初识hadoop
初识hadoop 前言之前在学校的时候一直就想学习大数据方面的技术,包括hadoop和机器学习啊什么的,但是归根结底就是因为自己太懒了,导致没有坚持多长时间,加上一直为offer做准备,所以当时重心 ...
学习笔记Hadoop（二）—— Hadoop介绍（2）——Hadoop 核心组件
二.Hadoop 核心组件 2.1.Apache Hadoop简介 Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架.它实现了Map/Reduce编程范型,计算任务会 ...
Hadoop核心组件以及发行版
Hadoop核心组件之分布式存储框架HDFS 源于Google的GFS论文,论文发表与2003年10月 HDFS时GFS的克隆版 HDFS特点:扩展性很好.容错性很好.能够存储海量数据 HDFS将文件 ...
Hadoop权威指南 _03_第I部分Hadoop基础知识_第1章初识Hadoop.
第I部分Hadoop基础知识第1章初识Hadoop. 比较喜欢这句极其形象的比喻. "在古时候,人们用牛来拉重物.当一头牛拉不动根圆木时,人们从来没有考虑过要想方设法培育出一种更强壮的牛. ...
hadoop学习——Hadoop核心组件
hadoop学习--Hadoop核心组件下图展示了hadoop生态系统的核心组件. 下面来简单介绍各个组件的作用: HDFS(Hadoop distribute file system)--Hado ...
Hadoop核心组件的节点管理(四)
如有不理解的请先参考 Hadoop核心组件的介绍(一) https://mp.csdn.net/postedit/102629533 Hadoop核心组件的HDFS安装与配置(二) https://m ...
通过一个对数据的存储和分析的简单实例初识Hadoop
对于一个刚刚接触Hadoop的菜鸟来说,Hadoop的概念还是挺抽象的,而且这个技术刚刚兴起,除了阿里巴巴,腾讯.中国移动这些技术实力非常强而且需要对数据进行海量存储的公司对Hadoop技术有一些初步 ...
初识Hadoop之概念认知篇
Hadoop作为大数据的支撑,那么我们会有一些疑问,什么是Hadoop,Hadoop能够做些什么,它的优点是什么,它是如何进行海量数据的操作的.相信这些疑问,一定在此时困扰着你,不要担心,下面我们一步 ...
五、Hadoop核心组件之HDFS
上篇博客介绍了Hadoop的本地模式和伪分布式,本篇主要介绍Hadoop的核心组件HDFS,关注专栏<破茧成蝶--大数据篇>查看相关系列的文章~ 目录一.HDFS的产生背景二.HDFS ...
分布式计算框架Hadoop核心组件
Hadoop作为成熟的分布式计算框架在大数据生态领域已经使用多年,本文简要介绍Hadoop的核心组件MapReduce.YARN和HDFS,以加深了解. 1.Hadoop基本介绍 Hadoop是分布式 ...

初识Hadoop（核心组件与应用）

初识Hadoop（核心组件与应用）相关推荐

最新文章

热门文章