Hadoop自动安装脚本

文章目录

Hadoop自动安装脚本
- 前言
- 脚本说明
- 脚本截图
- 后记

前言

最近在学习大数据的相关知识，对于 Hadoop的安装这一块，身边不少同学安装都存在许多问题，不行安装 SSH啦、不会配置环境变量啦之类的，网上的教程五花八门，大家配置的过程总是出现问题。

我也耐心地一个一个地帮忙，但是 Hadoop的配置过程本就繁琐，一个同学的配置往往要花掉几个小时才能弄好，三四个同学一帮，我一天的时间就没了。

我觉得这样做不是办法，于是萌生了用自动化工具的想法，去开发一个 Shell脚本。只要同学们去镜像站下载好 Hadoop，直接运行脚本文件，就可以实现一键配置，我只需要教大家脚本的使用技巧就行了，这大大节省了时间。

说干就干，在网上查阅 Linux Shell脚本的编写方法，翻阅了很多资料，历经千辛万苦，de了无数的 bug，花了整整一天时间，终于将脚本编写完毕。

脚本说明

因为我自己使用的是 Ubuntu系统，所以就针对 Ubuntu系统编写了这个脚本，目前还没有对其他系统做适配。脚本的地址在我的码云仓库里 Hadoop自动安装脚本

当前，这个脚本的运行也是需要前提条件的，这些我都在网站上做了说明，脚本运行时也会进行提示：

本脚本仅适用于 Ubuntu 系统，目前尚未对其他系统做适配
当前用户必须有足够的权限，例如管理员权限
系统已经安装了JDK，并配置了环境变量
Hadoop安装文件与脚本必须都在 home 目录下
保证系统处于联网状态

目前运行脚本时需要注意的就是有两次 ssh登录，所以需要有两次 exit退出（这些都在脚本里写有提示）。脚本运行完毕后，配置就完成了，自己手动初始化 HDFS，就可以开始使用 Hadoop了。

关于脚本运行之前可能会出的几个问题，我都在 ReadMe中进行了说明，仓库里还有一个脚本使用说明的 pdf文件，两者大同小异，都是解决脚本在正常运行之前可能遇到的问题。

关于默认设置，脚本运行的默认路径是用户的 home目录下，解压安装出的 Hadoop文件也是在 home目录下。脚本配置的是 Hadoop伪分布式模式，默认是 localhost。

脚本截图

两天时间，hadoop 的脚本我已经更新了六次了。基本上已经解决了同学们安装过程中反馈出的一些问题。目前脚本在 Ubuntu系统上已经可以很好地运行起来，没有什么问题了。

之后又如法炮制，编写了安装 HBase的脚本，同理也是默认 home目录，配置的伪分布式模式，localhost登录。

Hadoop脚本的运行截图

HBase脚本的运行截图

后记

强调一下，脚本配置虽然方便，但是为了方便你可能就什么也不懂了。虽然脚本好用，我还是建议大家要亲自去配置一遍 Hadoop，熟悉整个配置流程，遇到问题积极解决，这样才能锻炼你的能力。

掌握了 Hadoop的配置流程之后，那就可以优先使用脚本去配置了，毕竟原理都掌握了，使用脚本真的可以节约时间。

当然，这个脚本也还有很多可以被优化的地方，关于异常的处理还做得不够好。如果你能深入研究并对这个脚本进行优化，那就更好了。这样你不仅可以对 Hadoop的配置流程非常熟悉，还可以学到了编写 shell 脚本的一些经验。