一、依赖文件安装

1.1 JDK

参见博文：http://www.cnblogs.com/liugh/p/6623530.html

二、文件准备

2.1 文件名称

hadoop-2.7.3.tar.gz

2.2 下载地址

http://hadoop.apache.org/releases.html

三、工具准备

3.1 Xshell

一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。

3.2 Xftp

一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。

使用了 Xftp 以后，MS windows 用户能安全地在UNIX/Linux 和 Windows PC 之间传输文件。

四、部署图

五、Hadoop安装

以下操作，均使用root用户

5.1 主机名与IP地址映射关系配置

Master节点上，执行如下命令：
      #vi /etc/hosts

在文件最后，输入如下内容：

10.10.0.1 DEV-SH-MAP-01
10.10.0.2 DEV-SH-MAP-02
10.10.0.3 DEV-SH-MAP-03

保存，退出，然后通过scp命令，将配置好的文件拷贝其他两个Slave节点：

#scp /etc/hosts root@DEV-SH-MAP-02:/etc

#scp /etc/hosts root@DEV-SH-MAP-03:/etc

5.2 SSH免登陆配置

#ssh-keygen -t rsa

一直回车

然后分别拷贝到Master以及Slave节点：

 #ssh-copy-id DEV-SH-MAP-01#ssh-copy-id DEV-SH-MAP-02#ssh-copy-id DEV-SH-MAP-03

通过#ssh DEV-SH-MAP-02 测试是否配置成功，如果不需要输入密码，则证明配置成功

5.3 通过Xftp将下载下来的Hadoop安装文件上传到Master及两个Slave的/usr目录下

5.4 通过Xshell连接到虚拟机，在Master及两个Slave上，执行如下命令，解压文件：

# tar zxvf hadoop-2.7.3.tar.gz

5.5 在Master上，使用Vi编辑器，设置环境变量

# vi /etc/profile

在文件最后，添加如下内容：

# Hadoop Env
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5.6 退出vi编辑器，使环境变量设置立即生效

# source /etc/profile

通过scp命令，将/etc/profile拷贝到两个Slave节点：

#scp /etc/profile root@DEV-SH-MAP-02:/etc

#scp /etc/profile root@DEV-SH-MAP-03:/etc

分别在两个Salve节点上执行# source /etc/profile使其立即生效

5.7 查看Hadoop版本信息

# hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /usr/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar

六、Hadoop配置

以下操作均在Master节点，配置完后，使用scp命令，将配置文件拷贝到两个Slave节点即可。

切换到/usr/hadoop-2.7.3/etc/hadoop/目录下，修改如下文件：

6.1 hadoop-env.sh

在文件最后，增加如下配置：

export JAVA_HOME=/usr/jdk1.8.0_121
export HADOOP_PREFIX=/usr/hadoop-2.7.3

6.2 yarn-env.sh

在文件最后，增加如下配置：

export JAVA_HOME=/usr/jdk1.8.0_121

6.3 core-site.xml

创建tmp目录：#mkdir /usr/hadoop-2.7.3/tmp

<configuration><property><name>fs.defaultFS</name><value>hdfs://DEV-SH-MAP-01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/mnt/hadoop/tmp</value></property>
</configuration>

6.4 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/mnt/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/mnt/hadoop/dfs/data</value>
  </property>
</configuration>

6.5 mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>DEV-SH-MAP-01:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>DEV-SH-MAP-01:19888</value>
  </property>
</configuration>

6.6 yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>DEV-SH-MAP-01:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>DEV-SH-MAP-01:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>DEV-SH-MAP-01:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>DEV-SH-MAP-01:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>DEV-SH-MAP-01:8088</value>
  </property>
</configuration>

6.7 slaves

DEV-SH-MAP-01
DEV-SH-MAP-02
DEV-SH-MAP-03

6.8 拷贝配置文件到两个Slave节点

在Master节点，执行如下命令：

# scp -r /usr/hadoop-2.7.3/etc/hadoop/ root@DEV-SH-MAP-02:/usr/hadoop-2.7.3/etc/

# scp -r /usr/hadoop-2.7.3/etc/hadoop/ root@DEV-SH-MAP-03:/usr/hadoop-2.7.3/etc/

七、Hadoop使用

7.1 格式化NameNode

Master节点上，执行如下命令

#hdfs namenode -format

7.2 启动HDFS（NameNode、DataNode）

Master节点上，执行如下命令

#start-dfs.sh

使用jps命令，分别在Master以及两个Slave上查看Java进程

可以在Master上看到如下进程：

34225 SecondaryNameNode
33922 NameNode
34028 DataNode
49534 Jps

在两个Slave上，看到如下进程：

34028 DataNode
49534 Jps

7.3 启动 Yarn（ResourceManager 、NodeManager）

Master节点上，执行如下命令

#start-yarn.sh

使用jps命令，分别在Master以及两个Slave上查看Java进程

可以在Master上看到如下进程：

34225 SecondaryNameNode
33922 NameNode
34632 NodeManager
34523 ResourceManager
34028 DataNode
49534 Jps

在两个Slave上，看到如下进程：

34632 NodeManager
34028 DataNode
49534 Jps

7.4 通过浏览器查看HDFS信息

浏览器中，输入http://10.10.0.1:50070

7.5 通过浏览器查看Yarn信息

浏览器中，输入http://10.10.0.1:8088

7.6 停止Yarn及HDFS

#stop-yarn.sh

#stop-dfs.sh

转载于:https://www.cnblogs.com/liugh/p/6624872.html

Hadoop2.7.3分布式集群安装相关推荐

  1. Hadoop之——Hadoop2.2.0分布式集群安装

    转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45748111 一.安装系统 虚拟软件 :  VMware workstation ...

  2. HBase 1.2.6 完全分布式集群安装部署详细过程

    2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...

  3. hadoop2.7.2分布式集群搭建(三台)

    hadoop2.7.2分布式集群搭建(三台节点) 系统环境搭建 1.三台节点设置主机名和IP 2.配置主机的映射 3.ssh免密登录 4.关闭防火墙 5.关闭seliunx 6.安装jdk 7.设置n ...

  4. ZooKeeper伪分布式集群安装及使用

    为什么80%的码农都做不了架构师?>>>    ZooKeeper伪分布式集群安装及使用 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在V ...

  5. ZooKeeper伪分布式集群安装

    为什么80%的码农都做不了架构师?>>>    获取ZooKeeper安装包 下载地址:http://apache.dataguru.cn/zookeeper 选择一个稳定版本进行下 ...

  6. redis3.0.2 分布式集群安装详细步骤

    redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史 时间 版本 说明 编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 cs ...

  7. SolrCloud 分布式集群安装部署（solr4.8.1 + zookeeper +tomcat）

    SolrCloud 分布式集群安装部署 安装软件包准备 · apache-tomcat-7.0.54 · jdk1.7 · solr-4.8.1 · zookeeper-3.4.5 注:以上软件都是基 ...

  8. Hadoop集群安装部署_分布式集群安装_02

    文章目录 一.上传与 解压 1. 上传安装包 2. 解压hadoop安装包 二.修改hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hd ...

  9. Ceph分布式集群安装配置

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站:https://www.captainai.net/dongkelun 前言 记录Ceph分布式集群安 ...

最新文章

  1. 3，maven使用入门
  2. phoenix+hbase+Spark整合，Spark处理数据操作phoenix入hbase，Spring Cloud整合phoenix
  3. 在阿里云服务器上安装docker
  4. Python:常用模块简介（1）
  5. php返回一个变量,PHP从另一个文件获取变量
  6. Python爬虫利器一Requests库的用法
  7. 美国政府发布关键海事行业的网络安全规划
  8. 2016级算法第四次上机-A.Bamboo 和人工zz
  9. javaweb在线考试系统_有没有在线考试系统能承载几千人同时在线考试的？
  10. 有什么计算机应用基础的app,计算机应用基础软件
  11. IT项目管理流程以及每个步骤用到的文档
  12. 路由器设置DNS的作用
  13. 实习生去公司都干些啥
  14. 这8行代码的惊艳与反思
  15. 分组转发和路由选择基础
  16. RAID5容量计算方式：单块磁盘容量*（n-1)
  17. 暑假提高7--G - 手游大佬 （细节处理模拟）
  18. 专用微处理器电源监控和看门狗芯片--MAX708
  19. Oracle 按日期分组
  20. win11 某个任务栏图标显示空白解决方法

热门文章

  1. DHCP自动分配地址；DHCP指定IP给客户端
  2. Semaphore控制同时访问的线程个数countdownlatch等待多个线程执行完本身线程再执行...
  3. combobox的使用
  4. android 两种设置全屏的activity方式
  5. 《机器人爱好者（第2辑）》——《惑星历险》中的Robby
  6. clinical significance临床显著性
  7. 批量更新zabbix中的主机名
  8. 螃蟹学PHP设计模式之解释器模式
  9. html自定义实现文本编辑器,自定义开发富文本编辑器（Javascript实现点击插入内容到textarea光标处）...
  10. linux运行raxml,RAxML安装