linux下运行hadoop,Linux环境下hadoop运行平台的搭建

1、hadoop版本认识

截至目前(2012年12月23日)，Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x 则支持NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性。

1版本：主要基于原来的技术的升级和发展，同时支持其它技术的支持。如果想用hbase、hive等技术就只有选择版本1。

2版本：主要基于新技术的推广发展，如果只是基于hadoop开发，这个是一个很好的选择。

2、hadoop-1.2.1软件包的认识

bin目录：包含进行hadoop配置、运行以及管理的命

令集合。

conf目录：包含配置和运行hadoop环境需要的配置文

件以及示例文件集合。

hadoop-examples-1.2.1.jar

3、Linux环境下安装Hadoop的前提准备(Ubuntu12.04)

(1)安装Java的JDK

软件包为：jdk-7u45-linux-x64.gz

这里采用的解压直接配置的方式进行安装，除此之外还有二进制安装方式

<1> 解压并分解软件包(用tar将解压后的单一文件进行分解)

<2> 配置Java环境变量，主要JA V A_HOME、PA TH、CLASSPA TH三个环境变量

在/etc/profile文件添加以下语句

linux下运行hadoop,Linux环境下hadoop运行平台的搭建相关推荐

hadoop,pySpark环境安装与运行实战《一》
一.环境准备环境最好再mac或者liunx环境搭建最为友好,不建议在windows上折腾. 1)安装java jdk 下载java jdk 并在~/.bash_profile配置,jdk mac路 ...
Eclipse下搭建Hadoop开发环境，并运行第一个实例
有同学无法正常运行程序,这里将Eclipse下Hadoop环境配置进行一下说明: 1.新建Map/Reduce工程 2.设置Hadoop Locaiton,第一次使用的话,点击大象,新建配置. 3.设 ...
linux安装python虚拟环境_linux环境下安装python虚拟环境及注意事项
创建python虚拟环境virtualenv.virtualenvwrapper 1,为什么需要搭建虚拟环境由于当机器上两个项目依赖于相同包的不同版本时,会导致项目运行失败,此时可以安装虚拟环境 . ...
linux mysql5.6编译_Linux 环境下编译安装MySQL5.6的笔记记录
一.首先搭建好Linux环境,我这边使用的是redhat enterprise 6.5,并且建议磁盘划分逻辑卷,以便后期的扩容工作. 二.环境搭建好了之后,我们就要去准备MySQL的安装文件,到现在为 ...
linux上php指向mysql_linux环境下 php如何配置mysql
展开全部 Linux下配置安装PHP环境参考别人的做法,遇到问题上网查,下面就是安装步骤. 一.安装Apache2.2.22 1.到官网下636f707962616964757a686964616f ...
linux中python安装_linux环境下的python安装过程图解(含setuptools)
这里我不想采用诸如ubuntu下的apt-get install方式进行python的安装,而是在linux下采用源码包的方式进行python的安装. 一.下载python源码包打开ubuntu下的 ...
linux 安装防病毒软件,04Linux环境下Norton防病毒软件安装和使用.doc
04Linux环境下Norton防病毒软件安装和使用 Linux环境下 Norton防病毒软件安装和使用项目编号:项目名称:编写人:詹硕编写日期:2012-08-13审核人:审核日期:批准 ...
硬盘克隆带linux系统,一种Windows环境下基于DiskGenius克隆Linux系统的方法及系统与流程...
本发明涉及服务器操作系统技术领域,特别是一种windows环境下基于diskgenius克隆linux系统的方法及系统. 背景技术: 服务器在测试过程中需要反复安装linux操作系统用于服务器的各种测 ...
linux centos7安装ngix,centos7 环境下安装nginx--Linux
本文将要为您介绍的是centos7 环境下安装nginx--Linux,具体完成步骤:一.安装前需要的编译环境准备 1.安装make yum install -y gcc automake autoc ...
【Linux】在Windows 10环境下安装适用于 Linux 的子系统 (WSL安装指南)
更多教程:https://docs.microsoft.com/zh-cn/windows/wsl/install-win10 安装适用于 Linux 的 Windows 子系统 (WSL) 时有两个 ...

linux下运行hadoop,Linux环境下hadoop运行平台的搭建

linux下运行hadoop,Linux环境下hadoop运行平台的搭建相关推荐

最新文章

热门文章