【Hadoop】第一篇--Hadoop生态系统学习路线
一、Hadoop是什么?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算 。
二、Hadoop的发展历史
- Lucene框架是Doug Cuttine(道·卡廷)开创的开源软件,用Java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎。
- 2001年年底Lucene成为Apache基金会的一个子项目。
- 对于海星数据的场景,Lucene面对与Google同样的困难,存储数据困难,检索速度慢。
- 学习和模仿Google解决这些问题的办法:微型版Nutch
- 可以说Google是Hadoop的思想之源(Google在大数据方面的三筒论文)
GFS---->HDFS
Map-Reduce---->MR
BigTable---->HBase
- 2003-2004年,Google公开了部分GFS和MapReduce思想的细节,以此为基础Doug
Cutting等人用了2年业余时间实现了HDFS和MapReduce机制,使Nutch性能飚升。 - 2005 年Hadoop 作力Lucene的子项目 Nutch的一部分正式引入Apache基金会。
- 2006 年3月份,Map- Reduce机Nutch Diutrbtje File System(NDFS)分别纳入到 Hadoop
项目中Hadoop就此正式诞生,标志着大数据时代来临。
名字原于Dong Cutting儿子的玩具大象,下图:Dong Cutting与Hadoop图标
三、Hadoop三大发行版本
Hadoop三大发行版本:Apache、Cloudera、Hortonworks。
Apache版本最原始(最基础)的版本,对于入门学习最好。
Cloudera在大型互联网企业中用的较多。
Hortonworks文档较好。
1.Apache Hadoop
官网地址:http://hadoop.apache.org/releases.html
下载地址:https://archive.apache.org/dist/hadoop/common/
2.Cloudera Hadoop
官网地址:https://www.cloudera.com/downloads/cdh/5-10-0.html
下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/
- 2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括支持、咨询服务、培训。
- 2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support。
- CDH是Cloudera的Hadoop发行版,完全开源,比Apache Hadoop在兼容性,安全性,稳定性上有所增强。
- Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。
- Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。
3.Hortonworks Hadoop
官网地址:https://hortonworks.com/products/data-center/hdp/
下载地址:https://hortonworks.com/downloads/#data-platform
- 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
- 公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,贡献了Hadoop80%的代码。
- 雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。
Hortonworks的主打产品是Hortonworks Data Platform(HDP),也同样是100%开源的产品,HDP除常见的项目外还包括了Ambari,一款开源的安装和管理系统。 - HCatalog,一个元数据管理系统,HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的,易于使用的沙盒。
- Hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的Microsoft Windows平台上本地运行。定价以集群为基础,每10个节点每年为12500美元。
四、Hadoop的优势
- 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
- 高扩展性:在集群间分配任务数据,可方便的广展数以千计的节点。
- 高效性:在MapReduce的思想下 Hadoop是并行工作的,以加快任务处理速度。
- 高容错性:能够自动将失败的任务重新分配。
五、如何来学习大数据?
学习大数据,先学Hadoop,这是毋庸置疑的了,这张图真的可以很好的诠释整个Hadoop组件之间的关系。
Hadoop生态系统推荐学习路线。
Hadoop–>HDFS–>MapReduce–>YARN–>ZooKeeper–>Hive–>HBase–>Flume–>Kafka–>Sqoop–>Azkaban。
【Hadoop】第一篇--Hadoop生态系统学习路线相关推荐
- 第一篇博客-学习Markdown
第一篇博客-学习Markdown 学习Markdown 学习Markdown 井号+空格+标题:几个#就是几级标题 两星+文本+两星:加粗 一星+文本+一星:斜体 三星+文本+三星:斜体加粗 两波浪+ ...
- Hadoop生态系统学习路线
主要介绍Hadoop家族产品,经常使用的项目包含Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa.新添加 ...
- 骑行从脚下,健康你我他之第一篇-----杭城骑行路线参考图
久违的"雨止"天,配合周末,虽阳光若隐若现,但气温也不算低,杭城花海模式已悄然开启,骑上自行车,寻一处花地,就这样把自己丢进花海,想想都美滋滋. 小微根据不同的距离和路况,将杭州适 ...
- 如何写第一篇论文-深度学习中创新点比较小,但是有效果,可以发(水)论文吗? - 王晋东不在家的回答 - 知乎
作者:王晋东不在家 链接:https://www.zhihu.com/question/528654768/answer/2452424449 来源:知乎 著作权归作者所有.商业转载请联系作者获得授权 ...
- 3DMAX学习第一篇:为啥学习3DMAX?
为啥我作为一个u3d程序员,会学习3dmax呢?这就不得不从图形和模型效果说起了! 首先:我们遇到的情况,可能有模型人员给我们的模型,有些参数可能不是我们想要的,特别是当模型外包出去之后,外包人员不按 ...
- 【进阶篇】前端学习路线
一.基础知识 CSS: 目标:常见页面布局(flex等).CSS3 新特性. 参考书籍: CSS 世界 精通 CSS JS 目标: JS的原始类型 JS中的引用类型 迭代器和生成器 面向对象编程 和 ...
- 第一篇:盘赔学习之基础篇
关于盘赔的来源我就不再累述,只从两者的关系入手,欧赔是鼻祖,亚盘是欧赔的衍生物,有一位##的朋友曾经说:亚盘是通过让球这个杠杆,将三维变成两极,我觉得很形象,这里借用了.既然是衍生物,就目前来讲,欧赔 ...
- 第一篇——APM飞控学习笔记
关于什么是APM? 可能有很多玩航模或者是向我这样混迹于实验室的垃圾佬(bushi)看到过这个玩意--->>> 从狭义上来说,这个就是APM开源飞控. APM又叫ArduPilot- ...
- 保姆级零基础 C 语言学习路线,万字总结!
从大学接触 C 语言编程,工作之后一直从事互联网 C/C++ 后台开发工作,粗略算下来有 10 多年经验了(但是年限也并不能代表什么),只能说对 C 语言学习有一些经验可以分享给初学者,让你少走一些弯 ...
最新文章
- 中国10大最震撼的无人工厂,你吃的用的都是这么来的!
- linux学习笔记十二:yum常用命令
- S6 edge+的多米诺骨牌效应:大屏的趋势
- 基于SSM实现绿色有机产品直营网
- 【Linux】14.ubuntu忘记root密码、用户密码输入次数过多锁住的问题
- tensorflow学习(2.网络模型的存储以及提取)
- CTF Geek Challenge——第十一届极客大挑战Web Write Up
- 图解CSS3----5-否定伪类选择器
- 一个生产的shell脚本
- 计算机活动天窗,玩出花样,天窗的正确打开方式
- Win10系列:C#应用控件基础7
- SpiderKeeper的使用
- pfSense添加子网的几种方式
- 功能测试如何转自动化测试?我的年薪40W成长之路
- C++通过WIN32 API获取逻辑磁盘详细信息
- 设计模式:JavaScript
- 对于moxie的quot;WebWork教程quot;补充 - [文件上传]
- emc整改措施及案例_EMC整改案例分享
- Win10小键盘不能使用的解决办法
- 业绩爆发,押注“泛半导体”,TCL押对了吗?