由doop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。 
1.Apache HadoopApache版本衍化 于Ha
截至目前(2012年12月23日),ApacheHadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,变成了稳定版,而0.21.x和0.22.x则NameNodeHA等新的重大特性。第二代Hadoop包含两个版本,分别是0.23.x和2.x,它们完全不同于Hadoop1.0,是一套全新的架构,均包含HDFS Federation和YARN两个系统,相比于0.23.x,2.x增加了NameNodeHA和Wire-compatibility两个重大特性。 
经过上面的大体解释,大家可能明白了Hadoop以重大特性区分各个版本的,总结起来,用于区分Hadoop版本的特性有以下几个: 
(1)Append支持文件追加功能,如果想使用HBase,需要这个特性。 
(2)RAID在保证数据可靠的前提下,通过引入校验码较少数据块数目。详细链接: 
https://issues.apache.org/jira/browse/HDFS/component/12313080 
(3)Symlink支持HDFS文件链接,具体可参考:https://issues.apache.org/jira/browse/HDFS-245 
(4)SecurityHadoop安全,具体可参考:https://issues.apache.org/jira/browse/HADOOP-4487 
(5)NameNodeHA具体可参考:https://issues.apache.org/jira/browse/HDFS-1064 
(6)HDFSFederation和YARN

需要注意的是,Hadoop2.0主要由Yahoo独立出来的hortonworks公司主持开发。 
Apache版本下载 
(1)各版本说明:http://hadoop.apache.org/releases.html。 
(2)下载稳定版:找到一个镜像,下载stable文件夹下的版本。 
(3)Hadoop最全版本:http://svn.apache.org/repos/asf/hadoop/common/branches/,可直接导到eclipse中。 
2.Cloudera HadoopCDH版本衍化 
Apache当前的版本管理是比较混乱的,各种版本层出不穷,让很多初学者不知所措,相比之下,Cloudera公司的Hadoop版本管理的要很多。 
我们知道,Hadoop遵从Apache开源协议,用户可以免费地任意使用和修改Hadoop,也正因此,市面上出现了很多Hadoop版本,其中比较出名的一是Cloudera公司的发行版,我们将该版本称为CDH(ClouderaDistributionHadoop)。截至目前为止,CDH共有4个版本,其中,前两个已经不再更新,最近的两个,分别是CDH3(在Apache Hadoop0.20.2版本基础上演化而来的)和CDH4在Apache Hadoop2.0.0版本基础上演化而来的),分别对应Apache的Hadoop 1.0和Hadoop2.0,它们每隔一段时间便会更新一次。

Cloudera以patch level划分小版本,比如patch level为923.142表示在原生态Apache Hadoop0.20.2基础上添加了1065个patch(这些patch是各个公司或者个人贡献的,在Hadoopjira上均有记录),其中923个是最后一个beta版本添加的patch,而142个是稳定版发行后新添加的patch。由此可见,patchlevel越高,功能越完备且解决的bug越多。 
Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装,更加省事。 
CDH版本下载 
(1)版本含义介绍: 
https://ccp.cloudera.com/display/DOC/CDH+Version+and+Packaging+Information 
(2)各版本特性查看: 
https://ccp.cloudera.com/display/DOC/CDH+Packaging+Information+for+Previous+Releases 
(3)各版本下载: 
CDH3:http://archive.cloudera.com/cdh/3/ 
CDH4:http://archive.cloudera.com/cdh5/cdh/4/ 
注意,Hadoop压缩包在这两个链接中的最上层目录中,不在某个文件夹里,很多人进到链接还找不到安装包! 
3.如何选择Hadoop版本 
当前Hadoop版本比较混乱,让很多用户不知所措。实际上,当前Hadoop只有两个版本:Hadoop1.0和Hadoop 2.0,其中,Hadoop1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成,而Hadoop2.0则包含一个支持NameNode横向扩展的HDFS,一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop1.0,Hadoop 2.0功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。 
当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素: 
(1)是否为开源软件,即是否免费。 
(2)是否有稳定版,这个一般软件官方网站会给出说明。 
(3)是否经实践验证,这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。 
(4)是否有强大的社区支持,当出现一个问题时,能够通过社区、论坛等网络资源快速获取解决方法。 
考虑到以上几个因素,我们分析一下开源软件Hadoop。对于Hadoop2.0而言,目前尚不稳定,无法用于生产环境,因此,如果当前你正准备使用Hadoop,那么只能从Hadoop1.0中选择一个版本,而目截至目前(2012年12月23日),Apache和Cloudera最新的稳定版分别是Hadoop1.0.4和CDH3U4,因此,你可以从中任选一个使用。 
总结 
以上所述是小编给大家介绍的Apache Hadoop版本详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对Vecloud网站的支持!Vecloud微云以先进的MPLS为基础架构的网络来连接中国境内不同的地方。除了提供客户网络连接外,更为客户提供端到端、主动式的全程网络管理服务。同时可根据客户的不同需求提供多种数据/语音/视频等CPE设备的组合捆绑服务,在满足客户业务需求的同时,也帮助客户节省投资。

Apache Hadoop版本详解相关推荐

  1. Hadoop日志详解

    文章目录 1 Hadoop日志详解 2 Hadoop 系统服务输出的日志 2.1 修改Hadoop系统服务日志目录(包括NameNode.secondarynamenode.datanode.reso ...

  2. Hadoop Streaming详解

    一: Hadoop Streaming详解 1.Streaming的作用 Hadoop Streaming框架,最大的好处是,让任何语言编写的map, reduce程序能够在hadoop集群上运行:m ...

  3. Linux 环境 Apache Web 服务器配置详解

    Linux 环境 Apache Web 服务器配置详解 文章目录 Linux 环境 Apache Web 服务器配置详解 一.安装 http 服务软件 1.查看 http 服务软件是否安装 2.下载 ...

  4. 《Hadoop技术详解》一导读

    前 言 Hadoop技术详解 本书采用的约定 本书采用以下排版约定. 斜体 用于表明新的术语.URL.电子邮件地址.文件名和文件扩展名. 等宽字体 用于程序清单,正文段落中有关的程序元素,如变量及函数 ...

  5. eclipse版本详解以及下载安装步骤及启动eclispe报错整理

    一.eclispe版本详解 本段内容转载自:https://www.cnblogs.com/chenmingjun/p/8404628.html 1.eclipse版本代号一览表 Eclipse的设计 ...

  6. xp系统本地服务器环境配置,Windows XP安装Apache环境图文详解Windows服务器操作系统 -电脑资料...

    本文章来简单的介绍Windows XP安装Apache环境图文方法,有需要了解的朋友可参考参考, 双击 apache_2.2.8-win32-x86-no_ssl.msi 文件,开始安装 Apache ...

  7. Apache Rewrite 规则详解

    在开篇之前: 我想说这篇文章其实是我刚刚接触Rewrite的时候学习的文档,应属转载,但是在这里我不想写明原地址,原因是文章中大多数给出的配置命令经实验都是错误的.需要原文的可以在谷歌上搜索一下&qu ...

  8. apache启服务命令_Linux系统重启apache服务命令详解

    Linux系统中apache是重要的一个服务,掌握基本操作尤其重要.下面由学习啦小编为大家整理了Linux系统重启apache服务命令详解,希望对大家有帮助! Linux系统重启apache服务命令详 ...

  9. rpm安装mysql5.6_利用rpm安装mysql 5.6版本详解

    前言 其实之前使用yum安装MySQL确实很方便,但是默认安装的myql5.0版本的,不支持utf8mb4(utf8mb4扩展到一个字符最多能有4节,所以能支持更多的字符集,比如支持emoji表情)编 ...

最新文章

  1. linux sw状态,linux 下查看性能状态命令
  2. JBPM对象主键生成机制
  3. 1.1 Windows 程序运行原理(消息循环和响应)
  4. 无需Windbg | 使用VS 2019调试.NET程序的Crash异常
  5. equals和==的区别(转)
  6. 产品总监如何做产品规划?
  7. tkinter 中给某个文本加上滚动条_Python Tkinter自制文本编辑器
  8. GIT的使用中的问题处理
  9. 确立Sprint 目标 (Sprint Goal) 的8个理由
  10. 【Keras】使用 TPU 训练 TensorFlow 模型
  11. 毫秒转换成对应到达时间
  12. 深圳南山区的篮球场大全
  13. 1165.穹妹的求助
  14. 【CodeForces - 1647D】Madoka and the Best School in Russia(分类讨论,因数分解)
  15. 关于电压跟随器的那些事
  16. ipv4ipv6导致微信H5支付问题
  17. 其他算法和思想的题目
  18. C#添加WebService服务实现天气预报
  19. 从“历年全国出生人口”看,如何用Python来制作可视化动态图
  20. HDFS白名单和黑名单机制

热门文章

  1. 高效编程之互斥锁和自旋锁
  2. Exchange2013学习笔记(4)-Ex的重定向
  3. SQL语句的执行过程
  4. 助你成长为优秀的程序员 杰出的软件工程师、设计师、分析师和架构师
  5. Android APK反编译得到Java源代码或资源文件
  6. MD5SHA加密util类(Java)
  7. 观看马云网商大会视频的一些感想.
  8. [CodeForces1110C]Meaningless Operations
  9. 【文字检测算法整理】
  10. 设计模式--6大原则--开闭原则