【安装】Hadoop2.8.0搭建过程整理版

Hadoop搭建过程

前期环境搭建主要分为软件的安装与配置文件的配置，集成的东西越多，配置项也就越复杂。

Hadoop集成了一个动物园，所以配置项也比较多，且每个版本之间会有少许差异。

安装的方式有很多，各个版本lunix源的配置也不同，我才用的是直接下载tar包进行安装，这样的好处是版本容易控制。

下载软件：

官网下载时会标明相匹配的版本：

1、hadoop本体2.8.0

2、Scala，spark的原生语言，依赖于此环境

3、Spark，spark依赖hadoop的组件（忘了，单跑也可以）

系统环境：Ubuntu16.04

JRE环境：1.8（e）

配置jRE环境变量：

vim /etc/profile

最后加上，：是拼接的意思，拼接到path

export JAVA_HOME=/usr/jdk8/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

Java -version 成功

1、修改主机名

修改主机名，配置host，设置静态ip：

1.修改主机名：

主节点主机名称:Hadoop-host,IP地址:192.168.1.200

//由于搭建standalone测试，暂未配置子节点

Host：

修改/etc/host、hostname文件，注意请在host文件中一并添加hadoopnode1机器的IP地址。

192.168.1.200 Hadoop-host //192.168.1.201 hadoopnode1

::1 localhost

立即生效：sudo /etc/init.d/networking restart

Ip设置（e）：

#sudo vim /etc/network/interfaces

auto eth0
iface eth0 inet static
address 192.168.0.117
gateway 192.168.0.1 #这个地址你要确认下网关是不是这个地址
netmask 255.255.255.0
network 192.168.0.0
broadcast 192.168.0.255

dns-nameservers 8.8.8.8

2、关闭防火墙

原因：内部系统，不用考虑安全问题；各个节点之间的配合需要开放的环境。

乌班图ufw disable 其它版本的lunix好像是配置iptable关闭

配置免密码登录：公钥私钥。

ssh-keygen -t rsa -P “”
实现本地登录免密码登录，因为搭建的时候，我们做了对其他主机的免密码登录，但是本地ssh连接本地没有
所以，讲本地的公钥导入私钥就可以
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

非本地节点将非本地公钥导入私钥？

3、安装Hadoop

Tar -xvf 安装包名

Tip：解压x压缩z

解压后放入/usr/local/hadoop文件夹下。

创建hdfs以及其他组件需要的文件夹：

#mkdir tmp hadoop临时文件

#mkdir hdfs/name hdfsNODE

#mkdir hdfs/data hdfsDATA

配置环境变量：

vim /etc/profile

加入：

export HADOOP_HOME=/usr/hadoop/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin

Source，立即生效

现在执行hadoop version 查看安装是否成功。

4、配置Hadoop

主要是几个配置文件：

A:hadoop-2.8.0/etc/hadoop/hadoop-env.sh

配置vim hadoop-env.sh文件添加JAVA_HOME位置

source立即生效

B:hadoop-2.8.0/etc/hadoop/yarn-env.sh -此版本没有

C:hadoop-2.8.0/etc/hadoop/core-site.xml
D:hadoop-2.8.0/etc/hadoop/hdfs-site.xml
E:hadoop-2.8.0/etc/hadoop/mapred-site.xml
F:hadoop-2.8.0/etc/hadoop/yarn-site.xml

1、=========core-site.xml

<configuration>
     刚才新建的临时文件目录位置：
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
        <final>true</final>
        <description>A base for other temporary directories.</description>
    </property>

Hdfs地址与端口
    <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.1.200:9000</value>
    
            <final>true</final>
    </property>

缓存文件的大小
    <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
    </property>
    </configuration>
2===========hdfs-site.xml

Hdfs节点个数

<name>dfs.replication</name>

</property>

刚才建立的目录

<value>/usr/local/hadoop/hdfs/name</value>

</property>

刚才建立的目录

<value>/usr/local/hadoop/hdfs/data</value>

</property>

第二节点的位置？？？

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop-host:9001</value>

</property>

开启网络模式？？？

<name>dfs.webhdfs.enabled</name>

</property>

许可，权限？？？

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

3、mapred-site.xml

//mapreduce通过yarn配置（Hadoop 资源管理器）

<name>mapreduce.framework.name</name>

</property>

</configuration>

4、yarn-site.xml

这个文件配置好各自的端口就行

<name>yarn.resourcemanager.address</name>

<value>hadoop-host:18040</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hadoop-host:18030</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hadoop-host:18088</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hadoop-host:18025</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>hadoop-host:18141</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

5、初始化

hadoop namenode -format

17/09/13 05:01:45 INFO common.Storage: Storage directory /usr/local/hadoop-2.8.0/hdfs/name has been successfully formatted.
17/09/13 05:01:45 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop-2.8.0/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/09/13 05:01:45 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop-2.8.0/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds.
17/09/13 05:01:45 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/09/13 05:01:45 INFO util.ExitUtil: Exiting with status 0

17/09/13 05:01:45 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at Hadoop-host/127.0.1.1
************************************************************/

启动 sudo sbin/start-all.sh

输入http://localhost:50070/ 查看运行情况。