This Article Is From :https://examples.javacodegeeks.com/enterprise-java/apache-hadoop/prerequisites-learning-hadoop/

建议先看英文再看翻译:翻译使用的是Google翻译。

关于作者:Ramaninder毕业于德国Georg-August大学计算机科学与数学系,目前与奥地利的大数据研究中心合作。他拥有应用计算机科学硕士学位,专业应用系统工程和商业信息学。 他也是一名微软认证过程,在Java,C#,Web开发和相关技术方面有超过5年的经验。目前,他的主要兴趣是大数据生态系统,包括批处理和流处理系统,机器学习和Web应用程序。

在本文中,我们将深入了解什么是学习和使用Hadoop的先决条件。在开始学习Hadoop之前,我们将看到什么是需要的东西,什么是行业标准建议的事情。

1.介绍

Apache Hadoop是入门点,或者我们可以说是进入整个大数据生态系统的基础。它是大数据生态系统中大多数高级工具,应用程序和框架的基础,但是在学习Apache Hadoop时,还需要事先知道一些事情。

开始学习Apache Hadoop没有严格的先决条件。 但是,它使事情更容易,如果你想成为和Apache Hadoop的专家,这些是很好的知道的东西。

因此,Apache Hadoop的两个非常基本的先决条件是:

  1. Java
  2. Linux
  3. SQL

我们将在下面的章节中介绍这些。

2.Java

知道Java不是使用Hadoop的严格先决条件,但是知道它显然是深入了解Apache Hadoop工作的额外优势。

这可能听起来很奇怪,我提到的第一个先决条件是Java和我保存这也不是严格的先决条件,但添加。好吧,让我们看看为什么这样。

有一些工具和应用程序,例如Pig,Hive等,它们构建在Hadoop之上。这些工具提供自己的高级交互语言,用于处理在Apache Hadoop集群上存储和处理的数据。例如,Pig Latin用于Pig,HiveQL用于Hive。因此,对于不想深入编写复杂的MapReduce应用程序但希望使用Hive或Pig与集群中的数据进行交互的人,可以跳过Java。

对于编写Hadoop MapReduce应用程序,Java也不是唯一的选择。Hadoop提供了一个选项,可以使用任何可以从标准输入读取的语言,并且可以使用称为Hadoop Streaming的组件写入标准输出以编写MapReduce程序。例如,Python,Ruby,C等。但是由于Apache Hadoop是用Java编写的,为了使组件尽可能接近,Java是一种语言。Pig Latin和HiveQL命令也在内部转换为Java MapReduce程序并执行。

所以,如果你想知道Apache Hadoop的坚果和螺栓,如果需求变得越来越复杂,Java是Apache Hadoop的先决条件。

注意:要了解有关Hadoop MapReduce,Hadoop Streaming和Hive的基础知识的更多信息,请按照以下文章:

  • Apache Hadoop WordCount Example
  • Hadoop Streaming Example
  • Apache Hadoop Hive Tutorial


但是,当我们有Hadoop Steaming时,为什么要使用Java
确实Hadoop Steaming提供了使用许多语言编写MapReduce程序的选项,但是目前只有Java API在Apache Hadoop中有一些优点和优点。

因此,Java不是学习Hadoop的严格先决条件,但是被行业用例强烈推荐。

3.Linux

虽然Apache Hadoop可以在Windows上运行,但它最初是在Linux上构建的。Linux是安装和管理Hadoop集群的首选方法。 因此,了解Linux的工作和使用也有很多帮助。

当从命令行管理Hadoop分布式文件系统(HDFS)时,许多命令与Linus shell命令类似或完全相同。 要了解HDFS和HDFS shell命令,请参阅文章:

  • Apache Hadoop Distributed File System Explained
  • Apache Hadoop FS Commands Example

除此之外,我们还需要知道linux,如果我们想要部署和配置Hadoop集群甚至单节点机器。

4.SQL

对于已经熟悉SQL的人,他们可以利用他们现有的知识。 他们可以在Hive之上学习和使用SQL语法。 Apache Hive查询语言几乎类似于ANSI SQL。 除了Hive,Apache Pig还有很多类似于SQL命令的命令。例如,连接,分组,顺序等。不仅Apache Hadoop,而且其他大数据生态系统工具也提供类似SQL的接口,以便用户更容易地学习已经熟悉SQL的工具。Cassandra和HBase是一些工具,它们提供类似于查询接口的SQL,用于与数据交互。

5.总结

正如所讨论的,开始学习Apache Hadoop没有严格的先决条件,但在挖掘Apache Hadoop深入之前,我们应该熟悉一些事情。然后,我们一次讨论了这些先决条件,以了解它们在哪里和如何使用以及我们将需要它。 在我们深入Apache Hadoop之前,了解一些或所有这些先决条件将是很好的。

学习Hadoop的前提条件相关推荐

  1. 集成学习算法的思想、通过集成学习提高整体泛化能力的前提条件、如何得到独立的分类器Bagging、Boosting、Stacking算法

    集成学习算法 Ensemble learning algorithm 目的:让机器学习的效果更好,单个的分类器如果表现的好,那么能不能通过使用多个分类器使得分类效果更好呢?或者如果单个分类器分类效果不 ...

  2. nginx学习——建立hash表的前提条件

    在前面两篇博文中分别介绍了nginx中普通hash表和带有通配符的hash表的建立和查找,今天主要是介绍建立hash表的前提条件,并在后面附上一个完整的hash表的实现(该部分代码为转载). 一.建立 ...

  3. comparator 多个条件控制_JUnit5学习之四:按条件执行

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类和汇总,及配套源码,涉及Java.Docker.Kubernetes.DevO ...

  4. 浅谈:OA软件实施推广的前提条件和策略

    单位/企业/组织通过OA软件需求规划.选择.开发和测试,正式进入实施推广阶段,这是最后一个关键环节,这个环节决定了OA软件实施能否广泛应用于企事业单位的全体人员中.OA软件实施推广不是一个简单的技术问 ...

  5. JUnit5学习之四:按条件执行

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 关于<JUnit5学习>系列 <JU ...

  6. 互联网+和创业潮,互联网+前提条件是什么?互联网+做什么?

    在大众创业,万众创新的大浪下,凭着对新技术的敏感和青春激情,创业新军不断涌现....  互联网+创业浪潮, 如雨后春笋......,互联网+渗透每个人的心中. 创业不是赶时髦,而是一条非常孤独,艰难的 ...

  7. Exchange2010各角色对软件环境的前提条件

        最近一直在弄Exchange2010的测试,先是beta,后来又是RC,刚刚又在MSDN拿到了RTM..POC算是完了一大半,后续还有一些分布式.高可用方面的测试.. 近两天看到不少朋友也打算 ...

  8. Dataguard配置前提条件

    Data Guard配置前提条件 配置Data Guard必须保证以下前提条件: 1.Data Guard是Oracle企业版的组件.Oracle标准版里没有这个控件.所以Data Guard配置所使 ...

  9. 从零开始学习hadoop之发行版选择

    从零开始学习hadoop之发行版选择 经常会看到这样的问题:零基础学习hadoop难不难?有的人回答说:零基础学习hadoop,没有想象的那么难,也没有想象的那么容易.看到这样的答案不免觉得有些尴尬, ...

最新文章

  1. Caffe源码中syncedmem文件分析
  2. Python环境配置保姆教程(Anaconda、Jupyter、GPU环境)!
  3. Flask基础知识点1
  4. 数据卡片_VISA消息:关于VCPS 2.1卡片产品的性能和交叉测试的卡片个性化数据的更新...
  5. 传统反病毒软件厂商学会新把戏
  6. MacOSX系统下HomeBrew安装指定版本的软件 IntelliJ IDEA 设置多个Go语言版本开发
  7. 《应用时间序列分析:R软件陪同》——2.11 习题
  8. 【作业锦集】机器人学导论-空间变换及Matlab实现(part-1)
  9. java基站定位接口实例
  10. vue项目PC端移动端适配方案
  11. 当你不能够再拥有,你唯一可以做的,就是令自己不要忘记
  12. codeforces 1183H 动态规划
  13. java基础jdk,jre,jvm作业-答案
  14. Up in the Air-19
  15. 女生转行做什么工作好?想要转行互联网可以选择哪些方向?
  16. 如何在桥接模式下使用Eero保持路由器的高级功能
  17. 编译原理——文法的基本概念
  18. ffmpeg 音乐循环_自媒体良器:音频文件批处理,FFmpeg一行搞定!果断收藏
  19. 关于 使用python向qq好友发送消息(对爬虫的作用----当程序执行完毕或者报错无限给自己qq发送消息,直到关闭)...
  20. 苹果新iPhone发布会9月11日开幕 官宣海报神似西瓜霜

热门文章

  1. kafka之broker
  2. EF中的EntityState几个状态的说明
  3. 通过google插件Thumbnails实现图片指定大小压缩
  4. rtx java_如何使用JAVAWEB集成RTX推送消息
  5. 运动模糊运动拖影果冻效应分析
  6. 前端React下载文件到浏览器
  7. cip数据核字号查询(图书cip数据核字号查询)
  8. Surciata源码分析之IpsNFQ模式(1)
  9. 对于SOAP协议的全面介绍
  10. strcpy和strncpy的区别