1）官方网址

（1）官方网站：

http://hadoop.apache.org/

（2）各个版本归档库地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

（3）hadoop2.7.2版本详情介绍

http://hadoop.apache.org/docs/r2.7.2/

2）Hadoop运行模式

（1）本地模式（默认模式）：

不需要启用单独进程，直接可以运行，测试和开发时使用。

（2）伪分布式模式：

等同于完全分布式，只有一个节点。

（3）完全分布式模式：

多个节点一起运行。

1 本地运行Hadoop 案例

1.1 官方grep案例

1）创建在hadoop-2.7.2文件下面创建一个input文件夹

[faded@hadoop101 hadoop-2.7.2]$mkdir input

2）将hadoop的xml配置文件复制到input

[faded@hadoop101 hadoop-2.7.2]$cp etc/hadoop/*.xml input

3）执行share目录下的mapreduce程序

[faded@hadoop101 hadoop-2.7.2]$ bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

4）查看输出结果

[faded@hadoop101 hadoop-2.7.2]$ cat output/*

1.2 官方wordcount案例

1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

[faded@hadoop101 hadoop-2.7.2]$mkdir wcinput

2）在wcinput文件下创建一个wc.input文件

[faded@hadoop101 hadoop-2.7.2]$cd wcinput

[faded@hadoop101 wcinput]$touch wc.input

3）编辑wc.input文件

[faded@hadoop101 wcinput]$vim wc.input

在文件中输入如下内容

hadoop yarn

hadoop mapreduce

faded

faded

保存退出：：wq

4）回到hadoop目录/opt/module/hadoop-2.7.2

5）执行程序：

[faded@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

6）查看结果：

[faded@hadoop101 hadoop-2.7.2]$cat wcoutput/part-r-00000

faded 2

hadoop  2

mapreduce       1

yarn    1

2 伪分布式运行Hadoop案例

2.1 启动HDFS并运行MapReduce程序

1）分析：

（1）准备1台客户机

（2）安装jdk

（3）配置环境变量

（4）安装hadoop

（5）配置环境变量

（6）配置集群

（7）启动、测试集群增、删、查

（8）执行wordcount案例

2）执行步骤

需要配置hadoop文件如下

（1）配置集群

（a）配置：hadoop-env.sh

Linux系统中获取jdk的安装路径：

[root@ hadoop101 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_144

修改JAVA_HOME 路径：

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置：core-site.xml

<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop101:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

（c）配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

（2）启动集群

（a）格式化namenode（第一次启动时格式化，以后就不要总格式化）

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

（b）启动namenode

[faded@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

（c）启动datanode

[faded@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

（3）查看集群

（a）查看是否启动成功

[faded@hadoop101 hadoop-2.7.2]$ jps

13586 NameNode

13668 DataNode

13786 Jps

（b）查看产生的log日志

当前目录：/opt/module/hadoop-2.7.2/logs

[faded@hadoop101 logs]$ ls

hadoop-faded-datanode-hadoop.faded.com.log

hadoop-faded-datanode-hadoop.faded.com.out

hadoop-faded-namenode-hadoop.faded.com.log

hadoop-faded-namenode-hadoop.faded.com.out

SecurityAuth-root.audit

[faded@hadoop101 logs]# cat hadoop-faded-datanode-hadoop101.log

（c）web端查看HDFS文件系统

http://192.168.1.101:50070/dfshealth.html#tab-overview

注意：如果不能查看，看如下帖子处理

http://www.cnblogs.com/zlslch/p/6604189.html

（4）操作集群

（a）在hdfs文件系统上创建一个input文件夹

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/faded/input

（b）将测试文件内容上传到文件系统上

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input  /user/faded/input/

（c）查看上传的文件是否正确

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -ls  /user/faded/input/

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat  /user/faded/ input/wc.input

（d）运行mapreduce程序

[faded@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/faded/input/ /user/faded/output

（e）查看输出结果

命令行查看：

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/faded/output/*

浏览器查看

f）将测试文件内容下载到本地

[faded@hadoop101 hadoop-2.7.2]$ hadoop fs -get /user/faded/ output/part-r-00000 ./wcoutput/

（g）删除输出结果

[faded@hadoop101 hadoop-2.7.2]$ hdfs dfs -rmr /user/faded/output

2.2 YARN上运行MapReduce 程序

1）分析：

（1）准备1台客户机

（2）安装jdk

（3）配置环境变量

（4）安装hadoop

（5）配置环境变量

（6）配置集群yarn上运行

（7）启动、测试集群增、删、查

（8）在yarn上执行wordcount案例

2）执行步骤

（1）配置集群

（a）配置yarn-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置yarn-site.xml

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop101</value>

</property>

（c）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

[faded@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml

[faded@hadoop101 hadoop]$ vi mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

（2）启动集群

（a）启动resourcemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

（b）启动nodemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）yarn的浏览器页面查看

http://192.168.1.101:8088/cluster

（b）删除文件系统上的output文件

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/faded/output

（c）执行mapreduce程序

[faded@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/faded/input  /user/faded/output

（d）查看运行结果

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/faded/output/*

2.3 配置临时文件存储路径

1）停止进程

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

[faded@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode

2）修改hadoop.tmp.dir

[core-site.xml]

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

3）将/opt/module/hadoop-2.7.2路径中的logs文件夹删除掉

[faded@hadoop101 hadoop-2.7.2]$ rm -rf logs/

4）进入到tmp目录将tmp目录中hadoop-faded目录删除掉

[faded@hadoop101 tmp]$ rm -rf hadoop-faded/

5）格式化NameNode

[faded@hadoop101 hadoop-2.7.2]$ hadoop namenode -format

6）启动所有进程

[faded@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

[faded@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

7）查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。

2.4 配置历史服务器

1）配置mapred-site.xml

[faded@hadoop101 hadoop]$ vi mapred-site.xml

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop101:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop101:19888</value>

</property>

2）查看启动历史服务器文件目录：

[faded@hadoop101 hadoop-2.7.2]$ ls sbin/ | grep mr

mr-jobhistory-daemon.sh

3）启动历史服务器

[faded@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4）查看历史服务器是否启动

[faded@hadoop101 hadoop-2.7.2]$ jps

5）查看jobhistory

http://192.168.1.101:19888/jobhistory

2.5 配置日志的聚集

日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上。

开启日志聚集功能步骤：

（1）配置yarn-site.xml

[faded@hadoop101 hadoop]$ vi yarn-site.xml

<!-- 日志聚集功能使能 -->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!-- 日志保留时间设置7天 -->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

（2）关闭nodemanager 、resourcemanager和historymanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

（3）启动nodemanager 、resourcemanager和historymanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

[faded@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

（4）删除hdfs上已经存在的hdfs文件

[faded@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/faded/output

（5）执行wordcount程序

[faded@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/faded/input /user/faded/output

（6）查看日志

http://192.168.1.101:19888/jobhistory

2.6 配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：存放在hadoop相应的jar包中

[core-default.xml]

hadoop-common-2.7.2.jar/ core-default.xml

[hdfs-default.xml]

hadoop-hdfs-2.7.2.jar/ hdfs-default.xml

[yarn-default.xml]

hadoop-yarn-common-2.7.2.jar/ yarn-default.xml

[core-default.xml]

hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml

（2）自定义配置文件：存放在$HADOOP_HOME/etc/hadoop

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

3 完全分布式部署Hadoop

分析：

1）准备3台客户机（关闭防火墙、静态ip、主机名称）

2）安装jdk

3）配置环境变量

4）安装hadoop

5）配置环境变量

6）安装ssh

7）配置集群

8）启动测试集群

3.1 虚拟机准备

详见3.2-3.3章。

3.2 主机名设置

详见3.4章。

3.3 scp

1）scp可以实现服务器与服务器之间的数据拷贝。

2）案例实操

（1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。

[root@hadoop101 /]# scp -r /opt/module/  root@hadoop102:/opt

[root@hadoop101 /]# scp -r /opt/software/  root@hadoop102:/opt

[root@hadoop101 /]# scp -r /opt/module/  root@hadoop103:/opt

[root@hadoop101 /]# scp -r /opt/software/  root@hadoop103:/opt

[root@hadoop101 /]# scp -r /opt/module/  root@hadoop104:/opt

[root@hadoop101 /]# scp -r /opt/software/  root@hadoop105:/opt

（2）将hadoop101服务器上的/etc/profile文件拷贝到hadoop102上。

[root@hadoop102 opt]# scp root@hadoop101:/etc/profile /etc/profile

（3）实现两台远程机器之间的文件传输（hadoop103主机文件拷贝到hadoop104主机上）

[faded@hadoop102 test]$ scp faded@hadoop103:/opt/test/haha faded@hadoop104:/opt/test/

3.4 SSH无密码登录

1）配置ssh

（1）基本语法

ssh 另一台电脑的ip地址

（2）ssh连接时出现Host key verification failed的解决方法

[root@hadoop102 opt]# ssh 192.168.1.103

The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.

RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.

Are you sure you want to continue connecting (yes/no)?

Host key verification failed.

（3）解决方案如下：直接输入yes

2）无密钥配置

（1）进入到我的home目录

[faded@hadoop102 opt]$ cd ~/.ssh

（2）生成公钥和私钥：

[faded@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

[faded@hadoop102 .ssh]$ ssh-copy-id hadoop103

[faded@hadoop102 .ssh]$ ssh-copy-id hadoop104

3）.ssh文件夹下的文件功能解释

（1）~/.ssh/known_hosts     ：记录ssh访问过计算机的公钥(public key)

（2）id_rsa   ：生成的私钥

（3）id_rsa.pub    ：生成的公钥

（4）authorized_keys   ：存放授权过得无秘登录服务器公钥

3.5 rsync

rsync远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

（1）查看rsync使用说明

man rsync | more

（2）基本语法

rsync -rvl     $pdir/$fname         $user@hadoop$host:$pdir

命令 命令参数 要拷贝的文件路径/名称   目的用户@主机:目的路径

选项

-r 递归

-v 显示复制过程

-l 拷贝符号连接

（3）案例实操

把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录

[faded@hadoop102 opt]$ rsync -rvl /opt/tmp  root@hadoop103:/opt/

3.6 编写集群分发脚本xsync

1）需求分析：循环复制文件到所有节点的相同目录下。

（1）原始拷贝：

rsync  -rvl     /opt/module              root@hadoop103:/opt/

（2）期望脚本：

xsync 要同步的文件名称

（3）在/usr/local/bin这个目录下存放的脚本，可以在系统任何地方直接执行。

2）案例实操：

（1）在/usr/local/bin目录下创建xsync文件，文件内容如下：

[root@hadoop102 bin]# touch xsync

[root@hadoop102 bin]# vi xsync

#!/bin/bash

#1 获取输入参数个数，如果没有参数，直接退出

pcount=$#

if((pcount==0)); then

echo no args;

exit;

fi

#2 获取文件名称

p1=$1

fname=`basename $p1`

echo fname=$fname

#3 获取上级目录到绝对路径

pdir=`cd -P $(dirname $p1); pwd`

echo pdir=$pdir

#4 获取当前用户名称

user=`whoami`

#5 循环

for((host=103; host<105; host++)); do

#echo $pdir/$fname $user@hadoop$host:$pdir

echo --------------- hadoop$host ----------------

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir

done

（2）修改脚本 xsync 具有执行权限

[root@hadoop102 bin]# chmod 777 xsync

[root@hadoop102 bin]# chown faded:faded -R xsync

（3）调用脚本形式：xsync 文件名称

[faded@hadoop102 opt]$ xsync tmp/

3.7 编写集群操作脚本xcall

1）需求分析：在所有主机上同时执行相同的命令

xcall +命令

2）具体实现

（1）在/usr/local/bin目录下创建xcall文件，文件内容如下：

[root@hadoop102 bin]# touch xcall

[root@hadoop102 bin]# vi xcall

#!/bin/bash

pcount=$#

if((pcount==0));then

echo no args;

exit;

fi

echo -------------localhost----------

$@

for((host=101; host<=108; host++)); do

echo ----------hadoop$host---------

ssh hadoop$host $@

done

（2）修改脚本xcall具有执行权限

[root@hadoop102 bin]# chmod 777 xcall

[root@hadoop102 bin]# chown faded:faded xcall

（3）调用脚本形式： xcall 操作命令

[root@hadoop102 ~]# xcall rm -rf /opt/tmp/

3.8 配置集群

1）集群部署规划

hadoop102

hadoop103

hadoop104

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

2）配置文件

（1）core-site.xml

[faded@hadoop102 hadoop]$ vi core-site.xml

<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop102:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

（2）Hdfs

hadoop-env.sh

[faded@hadoop102 hadoop]$ vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop104:50090</value>

</property>

</configuration>

slaves

[faded@hadoop102 hadoop]$ vi slaves

hadoop102

hadoop103

hadoop104

（3）yarn

yarn-env.sh

[faded@hadoop102 hadoop]$ vi yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

yarn-site.xml

[faded@hadoop102 hadoop]$ vi yarn-site.xml

<configuration>

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop103</value>

</property>

</configuration>

（4）mapreduce

mapred-env.sh

[faded@hadoop102 hadoop]$ vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml

[faded@hadoop102 hadoop]$ vi mapred-site.xml

<configuration>

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

3）在集群上分发以上所有文件

[faded@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[faded@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

[faded@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

[faded@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves

4）查看文件分发情况

[faded@hadoop102 hadoop]$ xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves

3.9 集群启动及测试

1）启动集群

（0）如果集群是第一次启动，需要格式化namenode

[faded@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

（1）启动HDFS：

[faded@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

[faded@hadoop102 hadoop-2.7.2]$ jps

4166 NameNode

4482 Jps

4263 DataNode

[faded@hadoop103 hadoop-2.7.2]$ jps

3218 DataNode

3288 Jps

[faded@hadoop104 hadoop-2.7.2]$ jps

3221 DataNode

3283 SecondaryNameNode

3364 Jps

（2）启动yarn

[faded@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

2）集群基本测试

（1）上传文件到集群

上传小文件

[faded@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/faded/tmp/conf

[faded@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -put etc/hadoop/*-site.xml /user/faded/tmp/conf

上传大文件

[faded@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz  /user/faded/input

（2）上传文件后查看文件存放在什么位置

文件存储路径

[faded@hadoop102 subdir0]$ pwd

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

查看文件内容

[faded@hadoop102 subdir0]$ cat blk_1073741825

hadoop

faded

faded

（3）拼接

-rw-rw-r--. 1 faded faded 134217728 5月  23 16:01 blk_1073741836

-rw-rw-r--. 1 faded faded   1048583 5月  23 16:01 blk_1073741836_1012.meta

-rw-rw-r--. 1 faded faded  63439959 5月  23 16:01 blk_1073741837

-rw-rw-r--. 1 faded faded    495635 5月  23 16:01 blk_1073741837_1013.meta

[faded@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file

[faded@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file

[faded@hadoop102 subdir0]$ tar -zxvf tmp.file

（4）下载

[faded@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get /user/faded/input/hadoop-2.7.2.tar.gz

3）性能测试集群

写海量数据

读海量数据

3.10 Hadoop启动停止方式

1）各个服务组件逐一启动

（1）分别启动hdfs组件

hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode

（2）启动yarn

yarn-daemon.sh  start|stop  resourcemanager|nodemanager

2）各个模块分开启动（配置ssh是前提）常用

（1）整体启动/停止hdfs

start-dfs.sh

stop-dfs.sh

（2）整体启动/停止yarn

start-yarn.sh

stop-yarn.sh

3）全部启动（不建议使用）

start-all.sh

stop-all.sh

3.11 集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

配置时间同步实操：

1）时间服务器配置（必须root用户）

（1）检查ntp是否安装

[root@hadoop102 桌面]# rpm -qa|grep ntp

ntp-4.2.6p5-10.el6.centos.x86_64

fontpackages-filesystem-1.41-1.1.el6.noarch

ntpdate-4.2.6p5-10.el6.centos.x86_64

（2）修改ntp配置文件

[root@hadoop102 桌面]# vi /etc/ntp.conf

修改内容如下

a）修改1

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

b）修改2

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst为

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

c）添加3

server 127.127.1.0

fudge 127.127.1.0 stratum 10

（3）修改/etc/sysconfig/ntpd 文件

[root@hadoop102 桌面]# vim /etc/sysconfig/ntpd

增加内容如下

SYNC_HWCLOCK=yes

（4）重新启动ntpd

[root@hadoop102 桌面]# service ntpd status

ntpd 已停

[root@hadoop102 桌面]# service ntpd start

正在启动 ntpd：                                            [确定]

（5）执行：

[root@hadoop102 桌面]# chkconfig ntpd on

2）其他机器配置（必须root用户）

（1）在其他机器配置10分钟与时间服务器同步一次

[root@hadoop103 hadoop-2.7.2]# crontab -e

编写脚本

*/10 * * * * /usr/sbin/ntpdate hadoop102

（2）修改任意机器时间

[root@hadoop103 hadoop]# date -s "2017-9-11 11:11:11"

（3）十分钟后查看机器是否与时间服务器同步

[root@hadoop103 hadoop]# date

3.12 配置集群常见问题

1）防火墙没关闭、或者没有启动yarn

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）ip地址配置错误

4）ssh没有配置好

5）root用户和faded两个用户启动集群不统一

6）配置文件修改不细心

7）未编译源码

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

8）datanode不被namenode识别问题

Namenode在format初始化的时候会形成两个标识，blockPoolId和clusterId。新的datanode加入时，会获取这两个标识作为自己工作目录中的标识。

一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然持有原来的id，就不会被namenode识别。

解决办法，删除datanode节点中的数据后，再次重新格式化namenode。

9）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102

at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：

（1）在/etc/hosts文件中添加192.168.1.102 hadoop102

（2）主机名称不要起hadoop  hadoop000等特殊名称

10）datanode和namenode进程同时只能工作一个。

11）执行命令 不生效，粘贴word中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴word中代码。

12）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

13）jps不生效。

原因：全局变量hadoop   java没有生效，需要source /etc/profile文件。

14）8088端口连接不上

[faded@hadoop102 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1         hadoop102

Hadoop运行模式相关推荐

  1. Hadoop运行模式 之 伪分布式运行模式

    什么是伪分布式模式?它与本地运行模式以及完全分布式模式有什么区别? 伪分布式的配置信息,完全是按照完全分布式的模式去搭建的,但是它只有一台服务器,可以用于学习和测试,真正的开发中不可以使用. 目录 一 ...

  2. Hadoop运行模式 之 本地运行模式

    Hadoop的运行模式包括:本地模式.伪分布式模式以及完全分布式模式 Hadoop官网地址:https://hadoop.apache.org/ 本次使用的Hadoop的版本是2.7.2 官网文档:h ...

  3. Hadoop 运行模式

    文章目录 一.本地运行模式(官方 WordCount) 1.创建文件写入数据 2.执行程序 3.查看结果 二.完全分布式运行模式(开发重点) 配置JDK.Hadoop xsync 集群分发脚本 1.创 ...

  4. 三、Hadoop运行模式（本地模式、伪分布模式）

    上篇博客介绍了Linux下搭建Hadoop运行环境,本篇主要介绍Hadoop的本地运行模式和伪分布式模式,关注专栏<破茧成蝶--大数据篇>查看相关系列的文章~ 目录 一.本地模式 1.1 ...

  5. 大数据技术之Hadoop（入门）概述、运行环境搭建、运行模式

    文章目录 1 Hadoop 概述 1.1 Hadoop 是什么 1.2 Hadoop 优势 1.3 Hadoop 组成(面试重点) 1.3.1 HDFS 架构概述 1.3.2 YARN 架构概述 1. ...

  6. [ hadoop ] hadoop入门 : 组成架构.环境搭建.运行模式

    1 大数据概论 概念: 指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 需求: ...

  7. Hadoop 的三种运行模式_本地模式_伪分布式模式

    演示的版本是:2.7.2 官方文档 Hadoop运行模式 Hadoop运行模式包括:本地模式.伪分布式模式以及完全分布式模式. Hadoop官方网站:http://hadoop.apache.org/ ...

  8. Hadoop运行环境搭建（二）

    文章目录 一.本地运行模式 二.完全分布式运行模式 1.编写集群分发脚本 2.SSH免密登录配置 3.集群配置 4.集群启动 5.集群基本测试 6.集群启动/停止方式总结 总结 Hadoop运行模式包 ...

  9. hadoop大数据——mapreduce程序提交运行模式及debug方法

    本地运行模式 (1)mapreduce程序是被提交给LocalJobRunner在本地运行 (2)而处理的数据及输出结果可以在本地文件系统,也可以在hdfs上 怎样实现本地运行?:写一个程序,不要带集 ...

最新文章

  1. 如何提高模型性能？这四大方法值得尝试 | CSDN 博文精选
  2. 分子特征数据库R包msigdb
  3. 使用git命令导出项目_【git学习】SVN项目迁移到Git操作指南
  4. 养成一个SQL好习惯带来一笔大财富
  5. java 基础安装和Tomcat8配置
  6. 计算机管理无法连接虚拟磁盘服务,虚拟磁盘服务错误怎么操作【图文教程】
  7. 漫画：如何用栈实现队列
  8. [C++学习历程]基础部分 C++中的函数学习
  9. linux message日志只有4k,linux命令查看日志
  10. Supervisor的安装与使用
  11. emos mysql_EMOS 配置及优化
  12. linux打补丁教程,Linux下patch打补丁命令
  13. 敏捷教练----敏捷项目管理-史诗、故事、主题
  14. 合并两个工作表怎么做？
  15. VirtualBox增强功能包
  16. flutter常用命令及问题
  17. 安装flarum的php扩展,Flarum beta9 安装
  18. ARMv8架构下修改Linux内核并打开kvm硬件虚拟化支持（平台Firefly-rk3568）
  19. 宝塔面板子目录伪静态设置
  20. 信不信十分钟让你彻底搞懂java反射

热门文章

  1. python基础教学day20--多任务编程
  2. c++键盘按键监控以及键值表
  3. 计算机二级改错题怎么分,计算机二级上机考(程序改错题)1.doc
  4. CF845 A - B
  5. 19－typedef
  6. crc32算法_一致性hash算法负载均衡
  7. matlab 机床,基于MATLAB的数控机床控制系统的设计及仿真
  8. 『福利』免费领取官方提供的Atlas云托管MongoDB
  9. 中小企业如何开源节流？RPA：经济下行增效降本的良方
  10. Android WebView 安全漏洞