Apache Hadoop版本详解分享

本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。感兴趣的朋友一起看看吧
由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。

1.Apache HadoopApache版本衍化

截至目前（2012年12月23日），ApacheHadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则NameNodeHA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNodeHA和Wire-compatibility两个重大特性。

经过上面的大体解释，大家可能明白了Hadoop以重大特性区分各个版本的，总结起来，用于区分Hadoop版本的特性有以下几个：

（1）Append支持文件追加功能，如果想使用HBase，需要这个特性。

（2）RAID在保证数据可靠的前提下，通过引入校验码较少数据块数目。详细链接：

https://issues.apache.org/jira/browse/HDFS/component/12313080

（3）Symlink支持HDFS文件链接，具体可参考：https://issues.apache.org/jira/browse/HDFS-245

（4）SecurityHadoop安全，具体可参考：https://issues.apache.org/jira/browse/HADOOP-4487

（5）NameNodeHA具体可参考：https://issues.apache.org/jira/browse/HDFS-1064

（6）HDFSFederation和YARN

需要注意的是，Hadoop2.0主要由Yahoo独立出来的hortonworks公司主持开发。

Apache版本下载

（1）各版本说明：http://hadoop.apache.org/releases.html。

（2）下载稳定版：找到一个镜像，下载stable文件夹下的版本。

（3）Hadoop最全版本：http://svn.apache.org/repos/asf/hadoop/common/branches/，可直接导到eclipse中。

2.Cloudera HadoopCDH版本衍化

Apache当前的版本管理是比较混乱的，各种版本层出不穷，让很多初学者不知所措，相比之下，Cloudera公司的Hadoop版本管理的要很多。

我们知道，Hadoop遵从Apache开源协议，用户可以免费地任意使用和修改Hadoop，也正因此，市面上出现了很多Hadoop版本，其中比较出名的一是Cloudera公司的发行版，我们将该版本称为CDH（ClouderaDistributionHadoop）。截至目前为止，CDH共有4个版本，其中，前两个已经不再更新，最近的两个，分别是CDH3（在Apache Hadoop0.20.2版本基础上演化而来的）和CDH4在Apache Hadoop2.0.0版本基础上演化而来的），分别对应Apache的Hadoop 1.0和Hadoop2.0，它们每隔一段时间便会更新一次。

Cloudera以patch level划分小版本，比如patch level为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch（这些patch是各个公司或者个人贡献的，在Hadoopjira上均有记录），其中923个是最后一个beta版本添加的patch，百度收录批量查询而142个是稳定版发行后新添加的patch。由此可见，patchlevel越高，功能越完备且解决的bug越多。

Cloudera版本层次更加清晰，且它提供了适用于各种操作系统的Hadoop安装包，可直接使用apt-get或者yum命令进行安装，更加省事。

Apache Hadoop版本详解分享相关推荐

Apache Hadoop版本详解
由doop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼.本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议 ...
Hadoop日志详解
文章目录 1 Hadoop日志详解 2 Hadoop 系统服务输出的日志 2.1 修改Hadoop系统服务日志目录(包括NameNode.secondarynamenode.datanode.reso ...
Hadoop Streaming详解
一: Hadoop Streaming详解 1.Streaming的作用 Hadoop Streaming框架,最大的好处是,让任何语言编写的map, reduce程序能够在hadoop集群上运行:m ...
rpm安装mysql5.6_利用rpm安装mysql 5.6版本详解
前言其实之前使用yum安装MySQL确实很方便,但是默认安装的myql5.0版本的,不支持utf8mb4(utf8mb4扩展到一个字符最多能有4节,所以能支持更多的字符集,比如支持emoji表情)编 ...
Apache POI使用详解
转载自:http://www.bubuko.com/infodetail-654763.html 非原创 [首页] [新闻] [文章] [登录] [注册] 首页 Web开发 Windows开发编程 ...
Linux 环境 Apache Web 服务器配置详解
Linux 环境 Apache Web 服务器配置详解文章目录 Linux 环境 Apache Web 服务器配置详解一.安装 http 服务软件 1.查看 http 服务软件是否安装 2.下载 ...
《Hadoop技术详解》一导读
前言 Hadoop技术详解本书采用的约定本书采用以下排版约定. 斜体用于表明新的术语.URL.电子邮件地址.文件名和文件扩展名. 等宽字体用于程序清单,正文段落中有关的程序元素,如变量及函数 ...
eclipse版本详解以及下载安装步骤及启动eclispe报错整理
一.eclispe版本详解本段内容转载自:https://www.cnblogs.com/chenmingjun/p/8404628.html 1.eclipse版本代号一览表 Eclipse的设计 ...
xp系统本地服务器环境配置,Windows XP安装Apache环境图文详解Windows服务器操作系统 -电脑资料...
本文章来简单的介绍Windows XP安装Apache环境图文方法,有需要了解的朋友可参考参考, 双击 apache_2.2.8-win32-x86-no_ssl.msi 文件,开始安装 Apache ...
Apache Rewrite 规则详解
在开篇之前: 我想说这篇文章其实是我刚刚接触Rewrite的时候学习的文档,应属转载,但是在这里我不想写明原地址,原因是文章中大多数给出的配置命令经实验都是错误的.需要原文的可以在谷歌上搜索一下&qu ...

Apache Hadoop版本详解分享

Apache Hadoop版本详解分享相关推荐

最新文章

热门文章