Hadoop学习第一章：Hadoop概述

一、Hadoop的产生背景

关于Hadoop的产生背景来源于Nutch，Nutch
的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，然而随着抓取网页数据的增加，数据的搜索和储存成为了设计人员所要思考的一个关键！
2003年Google发布了三篇论文，GFS（Google File System），分布式计算框架（MapReduce）,分布式数据库（BigTable），系统的阐述了他们在网页产生的大量数据的存储和搜索以及计算的思路！
Nutch项目的开发人员根据这三篇论文提供的思路，利用java实现了这三篇论文的思想，并从Nutch中剥离开来，成立了一个新的项目Hadoop。

二、什么是Hadoop

关于hadoop的几个概念
1、Apache的开源项目
2、Hadoop的功能
3、Hadoop的功能实现

Hadoop的核心功能实现是通过四大核心组件来实现的
A、Common JNDI RPC 基础功能组件，工具包，底层通讯等
B、HDFS（Hadoop File System）谷歌文件系统在Hadoop上的实现
C、MapReduce 分布式计算框架
D、Hbase 分布式数据库

4、事实上广义的hadoop指的是Hadoop生态圈

三、Hadoop生态圈以及各组成部分

重点组件：

HDFS：Hadoop FIle System分布式文件系统
MAPREDUCE：Hadoop分布式计算框架
Hive：基于Hadoop的分布式类SQL数据仓库工具
HBase：分布式数据存储系统
Zookeeper：分布式协调管理工具
Maout：基于 MapReduce/Flink/Spark 等分布式运算框架的机器学习算法库
Oozie/Azkaban：工作流调度引擎
Sqoop：数据迁入迁出工具
Flume：日志采集工具

Hadoop学习第一章：Hadoop概述相关推荐

计网学习第一章：概述
"三网"指的是电信网络,有线电视网络,计算机网络 ①电信网络:向用户提供电话.电报及传真等服务:②有线电视网络:向用户传送各种电视节目:③计算机网络:能够在计算机之间传送数据文件 ...
第一章 Hadoop启动Shell启动脚本分析--基于hadoop-0.20.2-cdh3u1
我的新浪微博:http://weibo.com/freshairbrucewoo. 欢迎大家相互交流,共同提高技术. 第一章 Hadoop启动Shell启动脚本分析第一节 start-all.sh脚 ...
第一章 Hadoop
第一章 Hadoop 1.1 Hadoop 简介 Hadoop 是一个适合海量数据的分布式存储和分布式计算的框架. 这里的分布式存储指的是HDFS :分布式计算指的是MapReduce 1.1.1 H ...
计算机网络（谢希仁第八版）第一章：概述
1.计算机网络在信息时代的作用三网:电信网络,有线电视网络,计算机网络. 三网融合:由于涉及多方面的利益和行政管辖权的问题,目前没有实现. Internet(译名:因特网,目前使用最广泛的译名为:互 ...
第一章分布式计算概述
第一章分布式计算概述一.分布式计算的概念分布式计算是计算机科学的重要研究内容,主要研究对象是分布式系统.简单地说,一个分布式系统是由若干通过网络互连的计算机组成的软硬件系统,且这些计算机互相配合 ...
Python入门到精通【精品】第一章 - Python概述
Python入门到精通[精品]第一章 - Python概述 1. Python语言历史 2. Python语言特点 3. Python的下载和安装 3.1. Python的下载 3.2. Python ...
第一章Python概述
第一章Python概述一.基本概念 1.IDLE:(Integrated Development and Learning Environment)集成开发和学习环境,是Python的集成开发环境. ...
【liuyubobobo-玩转图论算法】第一章课程概述
持续学习&持续更新中- 守破离 [liuyubobobo-玩转图论算法]第一章课程概述图论概述课程特色课程大纲图论的应用参考 <玩转数据结构>是<图论课程> ...
计算机概述.ppt,第一章计算机概述.ppt
<第一章计算机概述.ppt>由会员分享,可在线阅读,更多相关<第一章计算机概述.ppt(52页珍藏版)>请在人人文库网上搜索. 1.计算机硬件技术基础,计算机系统概述,教学 ...

Hadoop学习第一章：Hadoop概述

一、Hadoop的产生背景

二、什么是Hadoop

三、Hadoop生态圈以及各组成部分

Hadoop学习第一章：Hadoop概述相关推荐

最新文章

热门文章