Apache Hadoop 项目介绍

Apache Hadoop 项目开发的开源软件提供了可靠、可伸缩、分布式的计算。它是Google类似技术的开源版本。使用Hadoop的公司有Yahoo!, Facebook, Twitter, IBM等。

为什么要开发这样的系统呢？“When data exists in this quantity (terabit/day or petabit/day), one of the processing limitations is that it takes a significant amount of time to move the data. Apache Hadoop has emerged to address these concerns with its unique approach of moving the work to the data and not the other way around.” 简单翻译就是，当数据量非常庞大的时候，移动数据时间也非常庞大。为了处理这个挑战，Hadoop采用将数据处理工作移动到数据处而不是反向移动的方式。

Hadoop 包括如下的子项目：

Hadoop Common : 项目共用软件包
Chukwa : 数据收集系统以管理大型分布式系统
HBase : 可伸缩、分布式、结构化数据库
HDFS : 分布式文件系统
Hive : 数据仓库以提供数据整合以及ad hoc查询
MapReduce : 分布式大型数据处理软件框架
Pig : 数据流语言以及平行化执行框架
ZooKeeper : 为分布式应用程序提供高性能协调服务

Hadoop的工作原理可以用下面的图简单描述：

还有很多基于Hadoop开发的项目：

Nutch：开发基于 Nutch 的集群式搜索引擎
Mahout：基于 Apache Mahout 构建社会化推荐引擎
Cassandra: 分布式 Key-Value 存储系统：Cassa

如果你想进一步了解Hadoop，《Hadoop权威指南（中文版）》将是你第一选择了，它是Hadoop的开发者写的，所以相当的权威性。

转载于:https://www.cnblogs.com/ainima/archive/2010/08/11/6331329.html

Apache Hadoop 项目介绍相关推荐

Apache基金会项目介绍
项目名称描述 HTTP Server 互联网上首屈一指的HTTP服务器 Abdera Apache Abdera项目的目标是建立一个功能完备,高效能的IETF Atom联合格式(RFC4287)和 ...
Apache Jakarta 项目介绍
Apache Jakarta apache是一个开源的组织名.后来制定了一个以apache命名的开源协议. jakarta是apache组织下的一套Java解决方案的开源软件的名称,它包括了很多子项目 ...
hadoop简单介绍_Hadoop：简单介绍
hadoop简单介绍什么是Hadoop: Hadoop是用Java编写的框架,用于在大型商品硬件群集上运行应用程序,并具有类似于Google File System和MapReduce的功能 . H ...
大数据概念和Hadoop基本介绍
开始学习大数据,一步一个脚印,好好坚持下去! 大数据概述 1.大数据特征第一个,volume(量),大数据第一个基础是它的数据量要大: 第二个,velocity(速度),大数据一个很重要的它必须是实 ...
官网教程:什么是Apache Hadoop？
英文原文地址:http://hadoop.apache.org/ Apache™Hadoop®项目为可靠的,可扩展的分布式计算开发开源软件. Apache Hadoop软件库是一个框架,它允许使用简单 ...
Apache Hadoop 2.9.2文档中文译文 -------未完！！！！！！
目录一. General(概括) 1. Overview 2. Single Node Setup 3. Cluster Setup 4. Commands Reference 5. FileSys ...
Submarine：在 Apache Hadoop 中运行深度学习框架
\u003cp\u003e作者: \u003ca href=\"https://hortonworks.com/blog/author/wtan/\"\u003eWangda Ta ...
Apache Zookeeper基本介绍
ZooKeeper是分布式应用程序的高性能协调服务.它是Apache Hadoop项目的一个子项目,主要用来解决分布式应用场景中存在的一些问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置 ...
Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍
Hadoop学习笔记-20.网站日志分析项目案例(一)项目介绍网站日志分析项目案例(一)项目介绍:当前页面网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edis ...
hadoop创建java项目的步骤_为 Apache Hadoop 创建 Java MapReduce - Azure HDInsight | Microsoft Docs...
您现在访问的是微软AZURE全球版技术文档网站,若需要访问由世纪互联运营的MICROSOFT AZURE中国区技术文档网站,请访问 https://docs.azure.cn. 为 HDInsight ...

Apache Hadoop 项目介绍

Apache Hadoop 项目介绍相关推荐

最新文章

热门文章