文章目录

  • 1、Hadoop运行环境的搭建
    • 1.1 虚拟机环境准备
      • 1.1.1 克隆虚拟机
      • 1.1.2 克隆完成后的配置
        • 1.1.2.1 修改克隆后虚拟机的ip
        • 1.1.2.2 修改IP地址
        • 1.1.2.3 修改主机名
        • 1.1.2.4 关闭防火墙
        • 1.1.2.5 创建psy831用户并配置root权限
        • 1.1.2.6 在/opt目录下创建文件夹
    • 1.2 安装JDK
    • 1.3 安装Hadoop
    • 1.4 Hadoop完全分布式的配置
      • 1.4.1 编写集群分发脚本xsync
      • 1.4.2 SSH无密登陆配置
      • 1.4.3 集群配置文件的配置
        • （1）核心配置文件
        • （2）HDFS配置文件
        • 3、在集群上分发配置好的Hadoop配置文件
        • 4、查看文件的分发情况
      • 1.4.4 集群的单点启动
      • 1.4.5 群起集群
        • 1. 配置slaves
        • 2. 启动集群
      • 1.4.6 配置历史服务器
      • 1.4.7 配置日志的聚集
      • 1.4.8 集群启动/停止方式总结
      • 1.4.9 集群的时间同步
  • 2.常见错误和解决方案

1、Hadoop运行环境的搭建

1.1 虚拟机环境准备

1.1.1 克隆虚拟机

1.1.2 克隆完成后的配置

1.1.2.1 修改克隆后虚拟机的ip

[root@hadoop101 /] vim /etc/udev/rules.d/70-persistent-net.rules

进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址

1.1.2.2 修改IP地址

[root@hadoop101 /]  vim /etc/sysconfig/network-scripts/ifcfg-eth0

ifcfg-eth0文件说明:

DEVICE=eth0    #接口名（设备,网卡）
BOOTPROTO=none
# IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
BROADCAST=192.168.1.255    #广播地址
HWADDR=00:0C:2x:6x:0x:xx   #MAC地址
IPADDR=192.168.1.23                 #IP地址
NETMASK=255.255.255.0            # 网络掩码
NETWORK=192.168.1.0                #网络地址
ONBOOT=yes              #系统启动的时候网络接口是否有效（yes/no）
TYPE=Ethernet                       #网络类型（通常是Ethemet）

（1）把复制的物理ip地址更新
HWADDR=00:0C:2x:6x:0x:xx #MAC地址
（2）修改成你想要的ip
IPADDR=192.168.1.101 #IP地址

1.1.2.3 修改主机名

1）修改linux的主机映射文件（hosts文件）
（1）进入Linux系统查看本机的主机名。通过hostname命令查看
[root@hadoop100 桌面]# hostname
hadoop100
（2）如果感觉此主机名不合适，可以进行修改。
通过编辑/etc/sysconfig/network文件
[root@hadoop100 桌面]# vi /etc/sysconfig/network
文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop100
注意：主机名称不要有“_”下划线
（3）打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop100。
（4）保存退出。
（5）打开/etc/hosts
[root@hadoop100 桌面]# vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104（6）并重启设备，重启后，查看主机名，已经修改成功
2）修改window7的主机映射文件（hosts文件）（1）进入C:\Windows\System32\drivers\etc路径（2）打开hosts文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104

1.1.2.4 关闭防火墙

1）临时关闭防火墙：（1）查看防火墙状态
[root@hadoop100桌面]# service iptables status（2）临时关闭防火墙
[root@hadoop100桌面]# service iptables stop
2）开机启动时关闭防火墙（1）查看防火墙开机启动状态
[root@hadoop100桌面]#chkconfig iptables --list    （2）设置开机时关闭防火墙
[root@hadoop100桌面]#chkconfig iptables off

1.1.2.5 创建psy831用户并配置root权限

1）添加psy831用户，并对其设置密码。
[root@hadoop101 ~]#useradd psy831
[root@hadoop101 ~]#passwd psy831
2）修改配置文件
[root@hadoop101 ~]#vi /etc/sudoers
修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下所示：
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
psy831   ALL=(ALL)     ALL或者配置成采用sudo命令时，不需要输入密码
## Allow root to run any commands anywhere
root      ALL=(ALL)     ALL
psy831   ALL=(ALL)     NOPASSWD:ALL
修改完毕，现在可以用psy831帐号登录，然后用命令 sudo ，即可获得root权限进行操作。

1.1.2.6 在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹
[psy831@hadoop101 opt]$ sudo mkdir module
[psy831@hadoop101 opt]$ sudo mkdir software（2）修改module、software文件夹的所有者cd
[psy831@hadoop101 opt]$ sudo chown psy831:psy831 module/ software/
[psy831@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 psy831 psy831 4096 1月  17 14:37 module
drwxr-xr-x. 2 psy831 psy831 4096 1月  17 14:38 software

1.2 安装JDK

  1. 卸载现有JDK
    （1）查询是否安装Java软件：
    [psy831@hadoop101 opt]$ rpm -qa | grep java
    （2）如果安装的版本低于1.7，卸载该JDK：
    [psy831@hadoop101 opt]$ sudo rpm -e 软件包
    （3）查看JDK安装路径：
    [psy831@hadoop101 ~]$ which java
    2.用SecureCRT或FTP工具将JDK导入到opt目录下面的software文件夹下面
  2. 解压JDK到/opt/module目录下
    [psy831@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
  3. 配置JDK环境变量
    （1）先获取JDK路径
    [psy831@hadoop101 jdk1.8.0_144]$ pwd
    /opt/module/jdk1.8.0_144
    （2）打开/etc/profile文件
    [psy831@hadoop101 software]$ sudo vi /etc/profile
    在profile文件末尾添加JDK路径
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
    （3）保存后退出
    :wq
    （4）让修改后的文件生效
    [psy831@hadoop101 jdk1.8.0_144]$ source /etc/profile
  4. 测试JDK是否安装成功
    [psy831@hadoop101 jdk1.8.0_144]# java -version
    java version “1.8.0_144”
    注意：重启（如果java -version可以用就不用重启）
    [psy831@hadoop101 jdk1.8.0_144]$ sync
    [psy831@hadoop101 jdk1.8.0_144]$ sudo reboot

1.3 安装Hadoop

1 下载Hadoop
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
用FTP工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面2.  进入到Hadoop安装包路径下
[psy831@hadoop101 ~]$ cd /opt/software/3.  解压安装文件到/opt/module下面
[psy831@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/4.  查看是否解压成功
[psy831@hadoop101 software]$ ls /opt/module/
hadoop-2.7.25.  将Hadoop添加到环境变量（1）获取Hadoop安装路径
[psy831@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2（2）打开/etc/profile文件
[psy831@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin（3）保存后退出
:wq（4）让修改后的文件生效
[psy831@ hadoop101 hadoop-2.7.2]$ source /etc/profile6.  测试是否安装成功
[psy831@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.27.  重启(如果Hadoop命令不能用再重启)
[psy831@ hadoop101 hadoop-2.7.2]$ sync
[psy831@ hadoop101 hadoop-2.7.2]$ sudo reboot

1.4 Hadoop完全分布式的配置

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式

1.4.1 编写集群分发脚本xsync

#!/bin/bash
# 参数判断，必须传入一个文件
if(($# == 0))thenecho 请输入你要传输的文件名exit
fi# 获取用户输入的文件的绝对路径：等于 目录名 + 文件名
path=`cd $(dirname $1) ; pwd -P`
filename=`basename $1`echo 用户要同步文件是: $path/$filename# 获取当前的用户名
username=`whoami`
for((host=101;host<=103;host++))
doecho --------------hadoop$host-----------------rsync -rvlt $path/$filename $username@hadoop$host:$path
done

说明：

3. 提供分发脚本，可以从一台机器上，将修改后的文件同步到集群中的所有机器！scp : 在不同的服务器间进行文件的拷贝！scp -r  用户名@主机名:源文件的路径    用户名@主机名:目的拷贝的路径 如果源文件在本机，执行了scp命令，用户名@主机名:可以省略！每次使用scp，都需要输入每个用户的密码，因此来配置102机器到101，和103的SSH免密登录！注意： 也要配置当前机器到当前机器的SSH免密登录rsync : 远程同步工具！ 可以检测两台机器上同一个文件的状态，如果文件发生了改变，才进行同步传输！rsync -rvlt  本机源文件的路径    用户名@主机名:目的拷贝的路径-t: 根据文件修改的时间，进行检测！rsync -rvlt ../input/  atguigu@hadoop103:/home/atguigu源文件加上/，将源文件目录中每个的文件作为整体！源文件不加/，将源文件目录本身作为整体！4. 分发脚本的编写脚本名：xsyncbash  xsync  要分发的文件的路径可以在脚本中，将当前的文件，手机用rsync同步到当前集群的所有主机的相同的目录中！bash xsync a.txt  将当前/home/atguigu/a.txt ，同步到当前集群所有机器上的/home/atguigu/a.txt思路：　①根据用户传入的参数，获取到当前文件的绝对路径！难点：用户传入的参数，有可能是相对路径，必须将相对路径，变化为绝对路径！解决：cd `dirname xxx`; pwd难点2: 以上方法，针对常规文件可以，除了软连接！如果软连接执行一个目录，那么在当前软连接目录的增删改查，其实是对所链目录的增删改查！针对软连接中的文件，获取文件真实的物理路径所在的目录：cd `dirname /home/atguigu/linkhadoop/a.txt`; pwd -P文件的绝对路径＝文件的目录名(dirname)＋文件名(basename)

1.4.2 SSH无密登陆配置

（1）生成公钥和私钥：

[psy831@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（2）将公钥拷贝到要免密登录的目标机器上

[psy831@hadoop102 .ssh]$ ssh-copy-id hadoop102
[psy831@hadoop102 .ssh]$ ssh-copy-id hadoop103
[psy831@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：
还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；
还需要在hadoop103上采用psy831账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

1.4.3 集群配置文件的配置

1、集群部署规划
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pHnXDrMU-1590069823878)(evernotecid://55C0D28A-5648-40D4-B40B-0270B6A09FDF/appyinxiangcom/156884/ENResource/p5115)]
2、配置集群

（1）核心配置文件

配置core-site.xml

[psy831@hadoop102 hadoop]$ vi core-site.xml

在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->
<property><name>fs.defaultFS</name><value>hdfs://hadoop102:9000</value>
</property><!-- 指定Hadoop运行时产生文件的存储目录 -->
<property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（2）HDFS配置文件

配置hadoop-env.sh

[psy831@hadoop102 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

[psy831@hadoop102 hadoop]$ vi hdfs-site.xml

在该文件中编写如下配置

<!-- 指定Hadoop运行时的副本数 -->
<property><name>dfs.replication</name><value>3</value>
</property><!-- 指定Hadoop辅助名称节点主机配置 -->
<property><name>dfs.namenode.secondary.http-address</name><value>hadoop104:50090</value>
</property>

（3）YARN配置文件
配置yarn-env.sh

[psy831@hadoop102 hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[psy831@hadoop102 hadoop]$ vi yarn-site.xml

在该文件中增加如下配置

<!-- reducer获取数据的方式 -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property><!-- 指定YARN的ResourceManager的地址 -->
<property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value>
</property>

（4）MapReduce配置文件
配置mapred-env.sh

[psy831@hadoop102 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

[psy831@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml[psy831@hadoop102 hadoop]$ vi mapred-site.xml

在该文件中增加如下配置

<!-- 指定mr运行在yarn上 -->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

3、在集群上分发配置好的Hadoop配置文件

[psy831@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

4、查看文件的分发情况

[psy831@hadoop103 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

1.4.4 集群的单点启动

（1）如果集群死第一次启动，需要格式化NameNode

[psy831@hadoop102 hadoop-2.7.2]$ hadoop namenode -format

（2）在hadoop102 上启动NameNode

[psy831@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start
namenode
[psy831@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode

（3）在hadoop102、hadoop103以及hadoop104上分别启动DataNode

[psy831@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start
datanode
[psy831@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[psy831@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start
datanode
[psy831@hadoop103 hadoop-2.7.2]$ jps
3190 DataNode
3279 Jps
[psy831@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start
datanode
[psy831@hadoop104 hadoop-2.7.2]$ jps
3237 Jps
3163 DataNode

1.4.5 群起集群

使用前提：
①要在etc/hadoop/slaves 编辑所有的节点主机名！
②配置Resourcemanager的主机到其他主机的ssh免密登录！
③群起脚本使用的是 ssh 主机名 启动命令的方式
需要读取JAVA_HOME,需要在用户的~/.bashrc中执行source /etc/profile才可以读取环境变量！

1. 配置slaves

[psy831@hadoop102 hadoop-2.7.2]$ vi /opt/module/hadoop-2.7.2/etc/hadoop/slaves

在文件中增加如下内容

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

2. 启动集群

（1）如果哦集群是第一次启动，需要格式化NameNode

[psy831@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

（2）启动HDFS

[psy831@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[psy831@hadoop102 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[psy831@hadoop103 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps
[psy831@hadoop104 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

(3)启动YARN

[psy831@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
（4）web端查看SecondaryNameNode
（a）浏览器中输入：http://hadoop104:50090/status.html
（b）查看SecondaryNameNode信息

1.4.6 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

  1. 配置mapred-site.xml
[psy831@hadoop102 hadoop]$ vi mapred-site.xml

在该文件里面增加如下配置。

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value>
</property>
  1. 启动历史服务器
[psy831@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
  1. 查看历史服务器是否启动
[psy831@hadoop101 hadoop-2.7.2]$ jps
  1. 查看JobHistory
    http://hadoop102:19888/jobhistory

1.4.7 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下：

  1. 配置yarn-site.xml
[psy831@hadoop102 hadoop]$ vi yarn-site.xml

在该文件里面增加如下配置。

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property><!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
  1. 关闭NodeManager 、ResourceManager和HistoryManager
[psy831@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
[psy831@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[psy831@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
  1. 启动NodeManager 、ResourceManager和HistoryManager
[psy831@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[psy831@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
[psy831@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
  1. 删除HDFS上已经存在的输出文件
[psy831@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/psy831/output
  1. 执行WordCount程序
[psy831@hadoop102 hadoop-2.7.2]$ hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/psy831/input /user/psy831/output
  1. web端查看日志

1.4.8 集群启动/停止方式总结

  1. 各个服务组件逐一启动/停止
    （1）分别启动/停止HDFS组件
    hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
    （2）启动/停止YARN
    yarn-daemon.sh start / stop resourcemanager / nodemanager
  2. 各个模块分开启动/停止（配置ssh是前提）常用
    （1）整体启动/停止HDFS
    start-dfs.sh / stop-dfs.sh
    （2）整体启动/停止YARN
    start-yarn.sh / stop-yarn.sh

1.4.9 集群的时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。
配置时间同步实操：

  1. 时间服务器配置（必须root用户）
    （1）检查ntp是否安装
[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64

（2）修改ntp配置文件

  [root@hadoop102 桌面]# vi /etc/ntp.conf修改内容如下a）修改1（授权192.168.1.0网段上的所有机器可以从这台机器上查询和同步时间）#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为restrict 192.168.1.0 mask 255.255.255.0 nomodify notrapb）修改2（集群在局域网中，不使用其他的网络时间）server 0.centos.pool.ntp.org iburstserver 1.centos.pool.ntp.org iburstserver 2.centos.pool.ntp.org iburstserver 3.centos.pool.ntp.org iburst为#server 0.centos.pool.ntp.org iburst#server 1.centos.pool.ntp.org iburst#server 2.centos.pool.ntp.org iburst#server 3.centos.pool.ntp.org iburstc）添加3（当该节点丢失网络连接，依然可以作为时间服务器为集群中的其他节点提供时间同步）server 127.127.1.0fudge 127.127.1.0 stratum 10

（3）修改/etc/sysconfig/ntpd 文件

[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd增加内容如下（让硬件时间与系统时间一起同步）SYNC_HWCLOCK=yes

（4）重新启动ntpd

 [root@hadoop102 桌面]# service ntpd statusntpd 已停[root@hadoop102 桌面]# service ntpd start正在启动 ntpd：                                            [确定]

（5）执行：

 [root@hadoop102 桌面]# chkconfig ntpd on
  1. 其他机器配置（必须root用户）
    （1）在其他机器配置10分钟与时间服务器同步一次
    [root@hadoop103桌面]# crontab -e
    编写定时任务如下：
 */10 * * * * /usr/sbin/ntpdate hadoop102

（2）修改任意机器时间

 [root@hadoop103桌面]# date -s "2017-9-11 11:11:11"

（3）十分钟后查看机器是否与时间服务器同步
[root@hadoop103桌面]# date
说明：测试的时候可以将10分钟调整为1分钟，节省时间。

2.常见错误和解决方案

1）防火墙没关闭、或者没有启动YARN
INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）IP地址配置错误

4）ssh没有配置好

5）root用户和psy831两个用户启动集群不统一

6）配置文件修改不细心

7）未编译源码
Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

8）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102at java.net.InetAddress.getLocalHost(InetAddress.java:1475)at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：
（1）在/etc/hosts文件中添加192.168.1.102 hadoop102
（2）主机名称不要起hadoop hadoop000等特殊名称

9）DataNode和NameNode进程同时只能工作一个。

10）执行命令不生效，粘贴word中命令时，遇到-和长–没区分开。导致命令失效
解决办法：尽量不要粘贴word中代码。

11）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

12）jps不生效。
原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。

13）8088端口连接不上
[psy831@hadoop102 桌面]$ cat /etc/hosts
注释掉如下代码
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 hadoop102

Hadoop 2.7.2 分布式集群搭建-操作指南（不断更新）相关推荐

  1. hadoop分布式集群搭建

    hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...

  2. 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  3. Hadoop分布式集群搭建以及案例运行-fs操作

    Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统) 一:创建分布式集群环境 二:设置静态ip以及主机名与映射关系 三:创建用户.配置SSH无密登录 四:子机dn操作 五:配置主机jdk.ha ...

  4. HADOOP 伪分布式集群搭建

    一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1.  搭建vmware 虚拟机 (1) ...

  5. 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

    hadoop完全分布式集群搭建 一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络 为虚拟机普通用户配置 ...

  6. Hadoop完全分布式集群搭建详细图文教程

    本文所使用的环境及版本: CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一.安装模板机 1.安装CentOS 7.9并配 ...

  7. 基于ubuntu的hadoop完全分布式集群搭建

    借鉴网址1 借鉴网址2 hadoop官方配置教程 搭建虚拟机,克隆(或者先配置JAVA和Hadoop环境再克隆,之后要改主机名和映射以及SSH免密) 可以利用xsync集群分发脚本一台机器配置其他机器 ...

  8. Hadoop完全分布式集群搭建

    hadoop本地模式搭建 首先准备一台Linux环境的服务器关闭防火墙 # 查看防火墙状态 systemctl status firewalld # 停止防火墙 systemctl stop fire ...

  9. [大数据技术与应用省赛学习记录二]——模块一（HADOOP完全分布式集群搭建）

    **在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...

最新文章

  1. 关于自底向上的管理方式的设想
  2. 获取微软产品下载链接
  3. 解惑 spring 嵌套事务
  4. mvvm模式和mvc的区别_被误解的 MVC 和被神化的 MVVM，值得收藏！
  5. Window系统下C/C++程序毫秒和微秒级程序运行时间的获取方法
  6. Spring 依赖注入方式详解
  7. Java——IO流（序列流）
  8. Happy剑指offer：第2章题目笔记
  9. vue修改Element的el-table样式
  10. Hibernate学习资源
  11. java web文件拖拽上传文件_Java实现拖拽文件上传dropzone.js的简单使用示例代码
  12. android 沙盒 ios,iOS之沙盒机制
  13. 解决安装 Bun 之后出现 zsh compinit: insecure directories, run compaudit for list. Ignore insecure directorie
  14. 2019顶级WordPress音频和视频插件
  15. 完全平方公式用c语言表达式,完全平方公式教案
  16. 【蓝桥杯 路径 python】Dij算法
  17. dotnetbar-SuperTabControl禁止调整顺序
  18. 【支付宝沙箱支付】麻瓜教程——申请----代码----修改测试----问题解决
  19. echarts 柱状图--柱体的点击事件
  20. PCIe接口二，三事

热门文章

  1. 【科研杂记_3】测高卫星
  2. 人工神经网络与深度神经网络
  3. 学习小程序遇到的问题总结
  4. 宋宝华：让Linux的段错误(segmentation fault)不再是一个错误
  5. 自媒体推广的方法和技巧有哪些？
  6. I have the Dream
  7. 19 款国产手机无一幸免：15 分钟破解人脸识别，打印眼镜让刷脸形同虚设
  8. linux手机+华为,基于Linux打造，华为重磅宣布，开始在6款手机测试新系统
  9. PX4飞行模式-多旋翼
  10. 如何用手机给视频变速