什么是Hadoop？大数据与Hadoop简介
要了解什么是Hadoop，我们必须首先了解与大数据和传统处理系统有关的问题。前进，我们将讨论什么是Hadoop，以及Hadoop如何解决与大数据相关的问题。我们还将研究CERN案例研究，以突出使用Hadoop的好处。
在之前的博客“ 大数据教程”中，我们已经详细讨论了大数据以及大数据的挑战。在此博客中，我们将讨论：
- 传统方法的问题
- Hadoop的演变
- Hadoop的
- Hadoop即用解决方案
- 何时使用Hadoop？
- 什么时候不使用Hadoop？
- CERN案例研究
大数据正在成为组织的机会。现在，组织已经意识到，大数据分析可以为他们带来很多好处，如下图所示。他们正在检查大型数据集，以发现所有隐藏的模式，未知的相关性，市场趋势，客户偏好和其他有用的业务信息。
这些分析结果正在帮助组织进行更有效的营销，新的收入机会，更好的客户服务。他们正在提高运营效率，与竞争对手组织相比的竞争优势以及其他业务利益。
图片：什么是Hadoop –大数据分析的好处
因此，让我们继续前进，了解在兑现大数据机会方面与传统方法相关的问题。
传统方法的问题
在传统方法中，主要问题是处理数据的异构性，即结构化，半结构化和非结构化。RDBMS主要关注诸如银行交易，运营数据等结构化数据，而Hadoop则专注于文本，视频，音频，Facebook帖子，日志等半结构化，非结构化数据。RDBMS技术是一种经过验证的，高度一致，成熟的系统许多公司的支持。另一方面，由于大数据（主要由不同格式的非结构化数据组成）对Hadoop造成了需求。
现在让我们了解与大数据相关的主要问题是什么。因此，继续前进，我们可以了解Hadoop是如何成为解决方案的。
图片：什么是Hadoop –大数据问题
第一个问题是存储大量数据。
无法在传统系统中存储大量数据。原因很明显，存储将仅限于一个系统，并且数据正在以惊人的速度增长。
第二个问题是存储异构数据。
现在，我们知道存储是一个问题，但是让我告诉您，这只是问题的一部分。由于我们讨论了数据不仅庞大，而且还以各种格式存在，例如：非结构化，半结构化和结构化。因此，您需要确保您拥有一个系统来存储从各种来源生成的所有这些种类的数据。
第三个问题是访问和处理速度。
硬盘容量正在增加，但磁盘传输速度或访问速度并未以相似的速度增加。让我用一个示例向您解释一下：如果您只有一个100 Mbps I / O通道，并且正在处理1TB数据，则大约需要2.91个小时。现在，如果您有四台具有一个I / O通道的计算机，则对于相同数量的数据，大约需要43分钟。因此，与存储大数据相比，访问和处理速度是更大的问题。
在了解什么是Hadoop之前，让我们首先了解一下Hadoop在一段时间内的发展。
Hadoop的演变
2003年，道格·切特（Doug Cutting）启动了Nutch项目，以处理数十亿次搜索并为数百万个网页建立索引。2003年10月下旬– Google发布带有GFS（Google文件系统）的论文。Google在2004年12月发布了MapReduce论文。在2005年，Nutch使用GFS和MapReduce进行操作。2006年，雅虎与Doug Cutting及其团队合作，基于GFS和MapReduce创建了Hadoop。如果我告诉您，您会感到惊讶，2007年Yahoo开始在1000个节点的群集上使用Hadoop。
在2008年1月下旬，雅虎将Hadoop作为开源项目发布给Apache Software Foundation。2008年7月，Apache通过Hadoop成功测试了4000个节点的集群。2009年，Hadoop在不到17小时的时间内成功整理了PB级数据，以处理数十亿次搜索并为数百万个网页建立索引。在2011年12月，Apache Hadoop发布了1.0版。2013年8月下旬，发布了2.0.6版。
在讨论这些问题时，我们发现分布式系统可以作为解决方案，而Hadoop提供了相同的解决方案。现在，让我们了解什么是Hadoop。
什么是Hadoop？
Hadoop是一个框架，它允许您首先将大数据存储在分布式环境中，以便可以并行处理它。 Hadoop中基本上有两个组件：
大数据Hadoop认证培训
- 讲师指导的课程
- 现实生活中的案例研究
- 评估
- 终身访问
探索课程
图：什么是Hadoop – Hadoop框架
第一个是用于存储的HDFS（Hadoop分布式文件系统），它使您可以在集群中存储各种格式的数据。第二个是YARN，用于Hadoop中的资源管理。它允许对数据进行并行处理，即跨HDFS存储。
什么是Hadoop | Hadoop简介| Hadoop培训| 埃杜雷卡
让我们首先了解HDFS。
HDFS
HDFS创建一个抽象，让我为您简化一下。与虚拟化类似，您可以在逻辑上将HDFS视为用于存储大数据的单个单元，但实际上您是在分布式方式下跨多个节点存储数据。HDFS遵循主从架构。
图片：什么是Hadoop – HDFS
在HDFS中，名称节点是主节点，数据节点是从节点。 Namenode包含有关存储在Data节点中的数据的元数据，例如哪个数据块存储在哪个数据节点中，数据块的复制在哪里等 。实际数据存储在Data Nodes中。
我还想补充一点，实际上我们复制了数据节点中存在的数据块，默认复制因子为3。 由于我们使用的是商用硬件，并且我们知道这些硬件的故障率很高，所以如果其中一个DataNodes失败，HDFS将仍然具有那些丢失的数据块的副本。 您还可以根据需要配置复制因子。您可以阅读HDFS教程，详细了解HDFS。
Hadoop即解决方案
让我们了解Hadoop如何为刚刚讨论的大数据问题提供解决方案。
第一个问题是存储大数据。
下一个问题是存储各种数据。
借助HDFS，您可以存储各种数据，无论是结构化，半结构化还是非结构化。由于在HDFS中，没有预转储模式验证。并且它也遵循一次写入和多次读取模型。因此，您只需写入一次数据，就可以多次读取数据以查找见解。
Ť Hird的挑战是访问和处理数据更快。
纱
它具有两个主要组件，即ResourceManager和NodeManager。
大数据培训
大数据HADOOP认证培训
大数据Hadoop认证培训
评论
使用PYSPARK进行PYTHON SPARK认证培训
使用PySpark进行Python Spark认证培训
评论
APACHE SPARK和SCALA认证培训
Apache Spark和Scala认证培训
评论
SPLUNK培训和认证-高级用户和管理员
Splunk培训和认证-高级用户和管理员
评论
APACHE KAFKA认证培训
Apache Kafka认证培训
评论
HADOOP管理认证培训
Hadoop管理认证培训
评论
ELK STACK培训和认证
ELK Stack培训和认证
评论
全面的HIVE认证培训
全面的Hive认证培训
评论
APACHE STORM认证培训
Apache Storm认证培训
评论
下一个
ResourceManager再次是主节点。它接收处理请求，然后将请求的各个部分相应地传递到相应的NodeManager，在此进行实际处理。NodeManager安装在每个DataNode上。它负责在每个单个DataNode上执行任务。
我希望现在您对什么是Hadoop及其主要组件有所了解。让我们继续前进，了解何时使用和何时不使用Hadoop。
何时使用Hadoop？
Hadoop用于：
- 搜索 – Yahoo，亚马逊，Zvents
- 日志处理 – Facebook，雅虎
- 数据仓库 – Facebook，AOL
- 视频和图像分析 –纽约时报，Eyealike
到目前为止，我们已经了解了Hadoop如何使大数据处理成为可能。但是在某些情况下，不建议使用Hadoop。
什么时候不使用Hadoop？
以下是其中一些方案：
- 低延迟数据访问：快速访问少量数据
- 多种数据修改：仅当我们主要关注读取数据而不修改数据时，Hadoop才是更好的选择。
- 小文件很多：Hadoop适用于少量文件但又大文件的情况。
在了解最合适的用例之后，让我们继续研究Hadoop创造奇迹的案例研究。
Hadoop-CERN案例研究
瑞士的大型强子对撞机是世界上最大，功能最强大的机器之一。它配备了约1.5亿个传感器，每秒产生PB的数据，并且数据在不断增长。
欧洲核子研究组织（CERN）的研究表明，这些数据的数量和复杂性一直在扩大，其中一项重要任务是满足这些可扩展的需求。因此，他们设置了Hadoop集群。通过使用Hadoop，他们限制了硬件成本和维护复杂性。
他们整合了Oracle和Hadoop，并获得了整合的优势。 Oracle优化了其在线交易系统和Hadoop，为其提供了可扩展的分布式数据处理平台。 他们设计了一个混合系统，首先将数据从Oracle迁移到Hadoop。然后，他们使用Oracle API对来自Oracle的Hadoop数据执行查询。他们还使用诸如 Avro＆ Parquet之类的Hadoop数据格式进行高性能分析，而无需更改连接到Oracle的最终用户应用程序。
他们在CERN-IT Hadoop服务上使用的主要Hadoop组件：
您可以在Hadoop生态系统博客中了解每个工具。
集成Oracle和Hadoop的技术：
- 将数据从Oracle导出到HDFS
Sqoop在大多数情况下都足够好，他们还采用了其他一些可能的选项，例如自定义提取，Oracle DataPump，流式传输等。
- 从Oracle查询Hadoop
他们使用Oracle中的数据库链接访问了Hadoop引擎中的表。通过透明地组合Oracle和Hadoop中的数据，还可以构建混合视图。
- 使用Hadoop框架处理Oracle数据库中的数据
他们使用Hadoop引擎（例如Impala，Spark）来处理从Oracle导出的数据，然后直接从具有JDBC的Spark SQL读取RDBMS中的数据。
从Oracle卸载到Hadoop
第1步：将数据卸载到Hadoop
步骤2：将查询卸载到Hadoop
大数据Hadoop认证培训
平日/周末批次查看批次详细信息
步骤3：从Oracle查询访问Hadoop
- 使用数据库链接从Oracle查询Apache Hive / Impala表
|
1个
2
3
|
create database link my_hadoop using 'impala-gateway';
select * from big_table@my_hadoop where col1= :val1;
|
- 通过ODBC网关将查询分载到Impala（或Hive）
在oracle上创建混合视图的示例
|
1个
2
3
4
5
6
7
|
create view hybrid_view as
select * from online_table where date > '2016-10-01'
union all
select * from archive_table@hadoop where date <= '2016-10-01'
|
根据CERN的案例研究，我们可以得出以下结论：
- Hadoop具有可伸缩性，非常适合大数据分析
- Oracle已证明可用于并发事务性工作负载
- 解决方案可用于集成Oracle和Hadoop
- 使用混合系统（Oracle + Hadoop）具有巨大的价值：
- 适用于旧版应用程序和OLTP工作负载的Oracle API
- 用于分析工作负载的商品硬件的可伸缩性
我希望该博客能为您提供丰富的信息，并为您的知识增添价值。在我们的Hadoop教程系列的下一个博客（即Hadoop教程）中，我们将更详细地讨论Hadoop，并详细了解HDFS和YARN组件的任务。
现在您已经了解了什么是Hadoop，请查看Edureka 的Hadoop培训，Edureka是一家受信任的在线学习公司，其网络遍布全球，共有25万名满意的学习者。Edureka大数据Hadoop认证培训课程使用零售，社交媒体，航空，旅游，金融领域的实时用例，帮助学习者成为HDFS，Yarn，MapReduce，Pig，Hive，HBase，Oozie，Flume和Sqoop的专家。
有问题要问我们吗？请在评论部分中提及它，我们将尽快与您联系。
什么是Hadoop？大数据与Hadoop简介相关推荐
- hadoop 单机单间_零基础入门hadoop大数据四——Hadoop框架前奏，JDK环境配置
~~~~~~~~~一天更新两篇~~~~~~ 一.本章节完成的内容 1.使用secureCRT工具连接linux主机(配置非常方便,方便粘贴) 2.上传安装包到linux上(用filezilla) 3. ...
- 猿创征文｜Hadoop大数据技术
Hadoop大数据技术 Hadoop背景 Hadoop生态圈 Hadoop模式 HDFS 概述 优点 缺点 基本组成 NameNode Secondary NameNode DataNode YARN ...
- BigData：大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介.核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS.HBase.Hive}+Docker).经典场景应用之详细攻略 BigData:大数 ...
- 大数据与Hadoop有什么关系？大数据Hadoop入门简介
学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...
- 大数据之Hadoop简介及环境搭建
第1章 大数据概论 1.1 大数据概念 大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的 ...
- Hadoop大数据平台开发与案例分析
关于举办"Hadoop大数据平台开发与案例分析 "高级工程师 一.课程介绍 1. 需求理解 Hadoop 设计之初的目标就定位于高可靠性.高可拓展性.高容错性和高效性,正是这些设计 ...
- 1.初始Hadoop大数据技术
1.1 大数据技术概要 1.1.1 大数据产生的背景 2001年后,互联网迅速发展,数据量成倍递增.进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生 ...
- 大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Technorati 标记: hadoop,生态圈,ecosystem,yarn,spark,入门 1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构. 用 ...
- Hadoop大数据从入门到精通-任亮-专题视频课程
Hadoop大数据从入门到精通-48021人已学习 课程介绍 Hadoop分布式文件系统(HDFS)和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Had ...
最新文章
- seata-golang 一周年回顾
- mysql表变量临时表_sql server 临时表详细讲解及简单示例
- Maven 系统环境变量配置
- 微软加入Linux基金会共建开源生态，并对谷歌加入.NET社区的举措表示欢迎
- 以太坊地址和公钥_以太坊交易签名解析源码解读
- 设计师学习HTML/CSS之路-11
- Java基础：基础加强巩固
- mysql数据库wait_timeout_mysql设置wait_timeout详解
- 浅谈聊天机器人 ChatBot 涉及到的技术点 以及词性标注和关键字提取
- 从各行业的实际运用中，窥见华为云虚拟专用网络VPN的强大性能
- IP地址0.0.0.0是什么意思？
- Python爬虫 使用Selenium爬取腾讯招聘信息
- 坚果投影仪怎么才能访问电脑共享文件，详细的操作方法分享
- 创建一个长方形类，成员域有长方形的长和宽，成员方法有计算长方形的面积，在main方法中创建长方形类对象，并调用计算长方形面积的方法。
- 快速获取excel工作簿中所有工作表的名称
- 第三部分PaddleX模型集_3.1 图像分类
- 【学术期刊】2023CCF推荐的A,B,C类英文科技期刊目录最新发布
- 基于SDWAN的智能选路技术实现
- VisualSVN server 备份恢复
- 苹果 App 转移图文详解