Hadoop简单安装配置

Hadoop开始设计以Linux平台为运行目标，所以这里推荐在Linux发行版比如Ubuntu进行安装，目前已经有Hadoop for Windows出来，大家自行搜下文章。

Hadoop运行模式分为单机、伪分布式、真实分布式三种，默认安装到本地后是单机模式。

1. 安装Jdk

Hadoop是用Java编写的，所以需要先装jdk，在oracle官网（http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）下载压缩包后，放置到/opt目录下，用如下命令解压

sudo tar -xvf jdk-8u77-linux-x64.tar.gz

加入环境变量JAVA_HOME和PATH

export JAVA_HOME=/opt/jdk1.8.0_77
export PATH=/opt/jdk1.8.0_77:${PATH}

2. 下载安装Hadoop

在官网下载，这里下载Hadoop-1.2.1版本为例子，下载tar.gz压缩包（https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/），同样防止在/opt目录下

如下命令解压

sudo tar -xvf hadoop-1.2.1.tar.gz

加入环境变量HADOOP_HOME和PATH

export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=/opt/hadoop-1.2.1/bin:${PATH}

进入/opt/hadoop-1.2.1/conf目录中，打开hadoop环境变量配置文件hadoop-env.sh，解开JAVA_HOME并修改上自己的jdk目录

如果需要将环境变量永久配置建议修改个人目录下的Profile文件：

sudo gedit ~/.bashrc

并在末尾添加

export JAVA_HOME=/opt/jdk1.8.0_77export PATH=$PATH:$JAVA_HOME/binexport HADOOP_INSTALL=/opt/hadoop-1.2.1export PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

3. 设置ssh免密码登录

输入以下命令声明ssh秘钥，整个过程都直接回车，不需要输入任何密码信息

ssh-keygen

最后会在你的个人目录下的.ssh文件夹中生成一个id_rsa.pub文件，继续执行下面命令将该秘钥追加到authorized_keys中：

sudo cp /home/xxx/.ssh/id_rsa.pub /home/xxx/.ssh/authorized_keys

这个时候执行下列命令看看是否能登陆

ssh localhost

如果出现下列错误的话说明你本地没有装openssh-server

ssh: connect to host localhost port 22: Connection refused [closed]

则安装openssh-server

sudo apt-get install openssh-server

如果出现下列提示，说明你要本地的openssh-client的版本已经过时，需要更新了

因为openssh-server是要依赖client的话，按照如上的截图提示信息，需要安装对应的openssh-client版本：

sudo apt-get install openssh-client=1:5.3p1-3ubuntu3

安装完后，则可以安装openssh-server了。随后启动ssh服务，并查看ssh服务是否启动

这个时候ssh localhost就可以登录本地了

到此，本地Hadoop安装完毕

转载于:https://www.cnblogs.com/soaringEveryday/p/5359545.html

Hadoop简单安装配置相关推荐

新的比较详细的hive安装教程，包含：hadoop的安装配置，hive安装详细教程，大数据下hive详细配置和简单使用和hive元数据迁移相关安装配置操作
简介:这是大数据里安装hive比较详细的教程,包括安装hive时hadoop的相关配置,hive安装,hive 之后的mysql安装,hive的元素配置到mysql相关配置,hive常见属性的相关配置 ...
linux hadoop etc目录,题目Linux平台下Hadoop的安装配置
1Linux平台下Hadoop的安装配置以下操作均是在虚拟机VWMare10.0平台上安装ubuntu12.04实现.首先要在ubuntu下穿件Hadoop用户. Ubuntulinux查看系统版本 ...
Hadoop的安装配置
Hadoop的安装配置登录Hadoop官网(http://hadoop.apache.org/releases.html) 下载Hadoop 2.6.0安装包hadoop-2.6.0.tar.gz. ...
2.Hadoop HDFS 安装配置
1.将hadoop包解压放到/opt/hadoop下 2.配置 2.1.进入hadoop目录 2.2.编辑hadoop.env.sh文件配置jdk环境变量 #vi etc/hadoop/hadoop ...
Freeradius+mysql+daloradius简单安装配置
概述之前说了Freeradius与AD结合进行802.1x认证方面的内容.本例则在之前实验配置的基础之上,将Freeradius与mysql.daloradius结合,实现可以通过web方式管理ra ...
Mac下django简单安装配置步骤
一.安装软件包并创建项目 $sudo pip install django $sudo python -c "import django;print django.VERSION" ...
Hadoop HIVE 安装配置(单机集群)
hive配置只与mysql有关,会自动根据hadoop_home来找数据,所以不必配置相应的datanode和namenode,也不必管单机还是集群解析SQL语法,组装成一个mapreduce jo ...
Linux版nexus3安装包，简单安装配置
nexus-3.27.0-03-unix.tar.gz 安装包下载地址:https://download.csdn.net/download/Naive_3/12812896 百度网盘: https ...
linux上yum最简方法安装,yum轻松简单安装配置GCC等
由于RedHat 没有注册,所有不能使用它自身的源进行更新,于是使用yum install gcc的时候会出现This system is not registered with RHN,所以我们可以 ...
Hadoop Hbase安装配置
数据库描述 Mysql sql,事务处理,增删改查, HIVE sql,数据仓库,存储和查询一般不修改,容量大(hdfs),计算能力强(mr) Hbase nosql,事务处理,增删改查 Hbase ...

Hadoop简单安装配置

Hadoop简单安装配置相关推荐

最新文章

热门文章