前期准备：

　　　　　1.我这里用了三台虚拟机，.默认已经配置好静态IP和IP域名映射，它们相互之间可以ping通

　　　　　　　　　第一台：192.168.174.131      hadoopNumber01.medal.com

　　　　　　　　　第二台：192.168.174.132      hadoopNumber02.meda.com

　　　　　　　　　第三台：192.168.174.133      hadoopNumber03.medal.com

　　　　　2.虚拟机最好不要连上网，因为我们后面用的是离线方式安装

一、搭建前的系统设置

　　　　1.将三台虚拟机切换到root用户，禁用IPv6

　　　　　　命令是：#echo "alias net-pf-10 off"  >> /etc/modprobe.d/dist.conf

　　　　　　　　　　#echo "alias ipv6 off"  >> /etc/modprobe.d/dist.conf

　　　　2.配置普通用户的sudo权限

　　　　　　命令是：#chmod  u+w   /etc/sudoers

　　　　　　　　　　#vi   /etc/sudoers

　　　　　　　　　　　　　在第一行加上：用户名  ALL=(root)NOPASSWD:ALL

　　　　　　　　　　　　因为我是以xunzhang这个用户登录的，所以我加上xunzhang ALL=(root)NOPASSWD:ALL

　　　　　　　　　　#chmod  u-w  /etc/sudoers

　　　　3.关闭防火墙

　　　　　　命令是：$sudo  service iptables stop

　　　　　　　　　　$sudo  chkconfig  iptables  off

　　　　4.禁用selinux

　　　　　　命令是：$sudo  vi  /etc/sysconfig/selinux

　　　　　　　　　　　　修改内容：SELINUX= disabled

　　　　5.卸载JdK

　　　　　　命令是：$sudo  rpm  -qa | grep  java

　　　　　　　　　　$sudo  rpm  -e  --nodeps  xxx   yyy   zzz

　　　　6.设置文件打开数量和用户最大进程数

　　　　　　命令是：$sudo  vi  /etc/security/limits.conf

　　　　　　　　　　加上内容：

　　　　　　　　　　　　　　*  soft   nofiles   65535

　　　　　　　　　　　　　　*  hard  nofiles   65535

　　　　　　　　　　　　　　*  soft    nproc    32000

　　　　　　　　　　　　　　*  hard   nproc    32000

　　　　7.设置集群时间同步（ntp），前提是三台虚拟机之间已经配置ssh免密钥登录

　　　　　　比如说我现在设置第二台和第三台虚拟机与第一台虚拟机进行时间同步

　　　　　　    1>首先检查第一台虚拟机有没有安装ntp软件，命令是：#rpm  -qa | grep ntp,默认系统已经自带了

　　　　　　   2>编辑配置文件ntp.conf

　　　　　　　　  命令是：#vi  /etc/ntp.conf

　　　　　　　　　　　去掉一行注释，将#restrict  192.168.1.0  mask 255.255.255.0  nomodify  notrap,去掉注释，并将其改成192.168.174.0，因为我的ip是在这个网段里面

　　　　　　　　　　　加上三行注释，将service  0.centos.pool.ntp.ort和service  1.centos.pool.ntp.org还有service  2.centos.pool.ntp.org这三行注释掉

　　　　　　　　　　　去掉两行注释，将末尾的server  127.127.1.0    #local   clock 和 fudge  127.127.1.0  stratum   10 ,这两行的注释去掉

　　　　　　　3>编辑配置文件ntpd

　　　　　　　　　命令是：#vi  /etc/sysconfig/ntpd

　　　　　　　　　　　　内容是：# Drop  root  to id  'ntp:ntp'  by  default.

　　　　　　　　　　　　　　　　SYNC_HWCLOCK =yes

　　　　　　　　　　　　　　　　OPTIONS="-u  ntp:ntp  -p  /var/run/ntpd.pid   -g"

　　　　　　　4>启动服务

　　　　　　　　　命令是：#service  ntpd  start

　　　　　　　　　　　　　#chkconfig   ntpd  on

　　　　　　　5>在另外两台虚拟机上，写脚本，进行时间的同步

　　　　　　　　　　在第二台虚拟机上，切换到root用户，设置同步

　　　　　　　　　　　　　命令是：crontab  -e

　　　　　　　　　　　　　　　加上如下内容：

　　　　　　　　　　　　　　　　　　0-59 * * * * /usr/sbin/ntpdate  hadoopNumber01.medal.com

　　　　　　　　　　　　　　　　　　注意：在这里每个*号之间有一个空格，后面这个域名是我第一台主机的主机名

　　　　　　　　　　在第三台虚拟机上，也做如第二台虚拟机相同的操作

二、搭建Hadoop2.x集群

　　１、安装JDK

　　　　1>上传JDK安装包，并将其解压到/opt/modules目录下

　　　　2>配置环境变量

　　　　　　命令是：sodu  /etc/profile

　　　　　　在最后加上：###########  JAVA_HOME ##################

　　　　　　　　　　　　export  JAVA_HOME=/opt/modules/jdk1.7.0_79 (jdk所在的路径)，我的jdk是在/opt/modules/下

　　　　　　　　　　　　export  CLASSPATH=/opt/modules/jdk1.7.0_79/lib

　　　　　　　　　　　　export  PATH=$PATH:$JAVA_HOME/bin

　　　　3>重启配置文件/etc/profile

　　　　　　命令是：source  /etc/profile

　　　　4>将jdk分发到另外两台虚拟机中

　　　　　　命令是：cd  /opt/modules/

　　　　　　　　　　scp -r * xunzhang@hadoopNumber02.medal.com:/opt/modules

　　　　　　　　　　scp -r * xunzhang@hadoopNumber03.medal.com:/opt/modules

　　　　　最后在另外两台虚拟机上配置java环境变量

　　2.安装Hadoop2.x(我这里是2.5.0)

　　　　1>上传hadoop安装包，并将其解压到/opt/modules目录下，进入hadoop-2.5.0-cdh5.3.6目录下，创建临时缓存目录

　　　　　　　　命令是：mkdir  -p  tmp/dir

　　　　2>进入hadoop-2.5.0-cdh5.3.6/ect/hadoop目录下，修改配置文件

　　　　　　第一个：core-site.xml　　　　　　　

　　　　　　　　<configuration>
　　　　　　　　　　<property>
　　　　　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　　　　　<value>hdfs://hadoopNumber01.medal.com:8020</value>
　　　　　　　　　　</property>
　　　　　　　　　　<property>
　　　　　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　　　　　<value>/opt/modules/hadoop-2.5.0-cdh5.3.6/tmp/dir</value>
　　　　　　　　　　</property>
　　　　　　　　</configuration>

　　　　　　第二个：hdfs-site.xml　　　　　　　　

　　　　　　　　<configuration>
　　　　　　　　　　<property>
　　　　　　　　　　　　<name>dfs.replication</name>
　　　　　　　　　　　　<value>2</value>
　　　　　　　　　　</property>
　　　　　　　　　　<property>
　　　　　　　　　　　　<name>dfs.namenode.secondary.http-address</name>
　　　　　　　　　　　　<value>hadoopNumber02.medal.com:50090</value>
　　　　　　　　　　</property>
　　　　　　　　</configuration>

　　　　　第三个：mapred-site.xml

　　　　　　　　<configuration>
　　　　　　　　　　<property>
　　　　　　　　　　　<name>mapreduce.framework.name</name>
　　　　　　　　　　　<value>yarn</value>
　　　　　　　　　　</property>
　　　　　　　　</configuration>

　　　　　第四个：yarn -site.xml

　　　　　　　　<configuration>
　　　　　　　　　　<property>
　　　　　　　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　　　　　　　<value>hadoopNumber01.medal.com</value>
　　　　　　　　　　</property>
　　　　　　　　　　<property>
　　　　　　　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　　　　　　　<value>mapreduce_shuffle</value>
　　　　　　　　　　</property>
　　　　　　　　</configuration>

　　　　　第五个：slaves

　　　　　　　　　　hadoopNumber01.medal.com
　　　　　　　　　　hadoopNumber02.medal.com
　　　　　　　　　　hadoopNumber03.medal.com

　　　　　第六个：hadoop-env.sh

　　　　　　　　　　配置java的路径：export JAVA_HOME=/opt/modules/jdk1.7.0_79

　　　　　第七个：mapred-env.sh

　　　　　　　　　　配置java的路径：export JAVA_HOME=/opt/modules/jdk1.7.0_79

　　3.将hadoop分发到其它虚拟机上

　　　　　前提：三台虚拟机它们的目录结构，和用户名完全一样

　　　　　命令：  scp core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves hadoop-env.sh mapred-env.sh 　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                                             xunzhang@hadoopNumber02.medal.com:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/

　　　　　　　     scp core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves hadoop-env.sh mapred-env.sh 　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                                             xunzhang@hadoopNumber03.medal.com:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/

　　4.格式化hdfs文件系统

　　　　在第一台虚拟机上

　　　　　　命令：bin/hdfs namenode -format

　　　　　　　　　　如果没有错误，就继续向下执行，有错误就查看日志信息，进行改正

　　　　　　　　　sbin/start-dfs.sh

　　　　　　　　　sbin/start-yarn.sh

至此，集群搭建完成