环境说明如下:
192.168.2.96 SN2015-02-96
192.168.2.97 SN2015-02-97
192.168.2.98 SN2015-02-98
安装
1,安装jdk环境:

===============================================

vim jdk-install.sh

#!/bin/sh
pwd
mkdir /data
cd /data
wget http://xxx/jdk-7u55-linux-x64.rpm
rpm -ivh jdk-7u55-linux-x64.rpm
cat >> /etc/profile.d/development.sh <<EOF
export JAVA_HOME=/usr/java/jdk1.7.0_55
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
EOF

sh jdk-install.sh

source /etc/profile.d/development.sh

================================================
2,安装Hadoop,版本为1.2.1
cd /data
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
tar zxvf hadoop-1.2.1.tar.gz
cd hadoop-1.2.1/conf
修改conf目录中的四个Hadoop核心配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml,具体内容如下:
hadoop-env.sh, hadoop环境变量配置文件,指定JAVA_HOME

=========================================================
export JAVA_HOME=/usr/java/jdk1.7.0_55

=========================================================
core-site.xml, hadoop  core的配置项,主要针对Common组件的属性配置。由于默认的hadoop.tmp.dir的路径为/tmp/hadoop-${user.name},笔者的Linux系统的/tmp文件系统的类型是Hadoop不支持的,会报异常,因此手工修改hadoop.tmp.dir指向/data/tmp/hadoop-${user.name},作为hadoop用户的临时存储目录,配置如下:

=========================================================
<configuration>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/data/tmp/hadoop-${user.name}</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.2.96:9000</value> //master主机ip:9000端口
</property>
</configuration>

==========================================================
hdfs-site.xml, hadoop的HDFS组件的配置项,包括Namenode、Secondarynamenode和Datanode等,配置如下:

=========================================================
<configuration>
<property>
 <name>dfs.name.dir</name>
 <value>/data/hdfs/name</value>  //Namenode持久存储名字空间、事务日志路径
</property>

<property>
 <name>dfs.data.dir</name>
 <value>/data/hdfs/data</value>  //Datanode数据存储路径
</property>

<property>
 <name>dfs.datanode.max.xcievers</name>
 <value>4096</value>           //Datanode所允许同时执行的发送和接受任务数量,默认为256
</property>

<property>
 <name>dfs.replication</name>
 <value>2</value>           //数据备份的个数,默认为3
</property>
</configuration>

==========================================================
mapred-site.xml,配置map-reduce组件的属性,包括jobtracker和tasktracker,配置如下:

==========================================================
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.2.96:9001</value>
</property>
</configuration>

==========================================================
masters,配置Secondarynamenode项,环境使用主设备192.168.2.96同时承担Secondarynamenode的角色,生产环境要求使用独立服务器,起到HDFS文件系统元数据(metadata)信息的备份作用,当Namenode发生故障后可以快速还原数据,配置内容如下:
192.168.2.96
salves,配置所有slave主机信息,填写IP地址即可。本示例中slave的信息如下:
192.168.2.97
192.168.2.98
接下来,从主节点(master)复制jdk及Hadoop环境到所有slave,目标路径要与Master保持一致,切记!执行以下命令进行复制:
# scp -r /usr/java/jdk1.7.0_55 192.168.2.97:/usr/java/
# scp -r /usr/java/jdk1.7.0_55 192.168.2.98:/usr/java/
# scp -r /data/tools/hadoop-1.2.1 192.168.2.97:/data/tools/
# scp -r /data/tools/hadoop-1.2.1 192.168.2.98:/data/tools/
Hadoop部分功能是通过主机名来寻址的,因此需要配置主机名hosts信息(生产环境建议直接搭建内网DNS服务),保证Hadoop环境所有主机的/etc/hosts文件配置如下:
192.168.2.96 SN2015-02-96
192.168.2.97 SN2015-02-97
192.168.2.98 SN2015-02-98
如设备启用了iptables防火墙,需要对主节点Master及Slave主机添加一下限制:

=========================================================
Master:
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50030 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50070 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 9000 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 9001 -j ACCEPT
Slaves:
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50075 -j ACCEPT
-I INPUT -s 192.168.2.0/24 -p tcp --dport 50060 -j ACCEPT
-I INPUT -s 192.168.2.96 -p tcp --dport 50010 -j ACCEPT

==========================================================
配置完成后再主节点Master上格式化文件系统的namenode,执行:
# bin/hadoop namenode -format
最后,在主节点Master上执行启动命令,如下:
# bin/start-all.sh
校验安装结果
Hadoop官方提供的一个测试MapReduce的示例,执行:
# bin/hadoop jar hadoop-examples-1.2.1.jar pi 10 100
如果返回如下所示结果,则说明配置成功。

Number of Maps  = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
15/03/13 09:10:21 INFO mapred.FileInputFormat: Total input paths to process : 10
15/03/13 09:10:22 INFO mapred.JobClient: Running job: job_201503130851_0001
15/03/13 09:10:23 INFO mapred.JobClient:  map 0% reduce 0%
15/03/13 09:10:37 INFO mapred.JobClient:  map 20% reduce 0%
15/03/13 09:10:38 INFO mapred.JobClient:  map 40% reduce 0%
15/03/13 09:10:45 INFO mapred.JobClient:  map 60% reduce 0%
15/03/13 09:10:48 INFO mapred.JobClient:  map 80% reduce 0%
15/03/13 09:10:52 INFO mapred.JobClient:  map 100% reduce 0%
15/03/13 09:10:58 INFO mapred.JobClient:  map 100% reduce 26%
15/03/13 09:11:00 INFO mapred.JobClient:  map 100% reduce 100%
访问Hadoop提供的管理页面,Map/Reduce管理地址:http://192.168.2.96:50030/,如下图所示

HDFS存储管理地址:http://192.168.2.96:50070 ,如下图所示

转载于:https://blog.51cto.com/sandyhuang/1620161

Hhadoop环境部署相关推荐

  1. 实战 | 某小公司项目环境部署演变之路

    点击上方蓝色"视学算法",选择"设为星标" 获取独家整理的学习资料! 作者 | 邵磊 来源 | juejin.im/post/5ade8a37f265da0b8 ...

  2. 【Smobiler企业APP开发之一】开发环境部署

    最近研究了下Smobiler-.net移动开发,对于做企业APP开发Smobiler还是够用的,况且是完全使用C#进行编程,对于使用C#进行程序设计的程序员来说还是很容易上手的. 本章节主要介绍Smo ...

  3. ansible自动化运维(二)——环境部署及常用模块的使用

    实验环境 主机 ip server1(主控端) 172.25.6.1 server2(节点) 172.25.6.2 server3(节点) 172.25.6.3 一.环境部署 ansible的配置文件 ...

  4. kafka 基础知识梳理及集群环境部署记录

    一.kafka基础介绍 Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特 ...

  5. 华为云计算FusionCompute环境部署实验之使用批量部署工具安装

    本文由乾颐堂HCIE培训讲师姜帆老师提供 一.环境介绍 使用实验环境必须提前在中登记预约 1. 实验拓扑 2. 环境简介 使用环境安装虚拟机通过服务器的BMC接口实现,电源控制 访问Console 光 ...

  6. eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

    转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapr ...

  7. Mac下web自动化环境部署

    1.前提:安装python环境,文件可参考:https://www.cnblogs.com/nbnuan/p/9717881.html 2.浏览器很多,主流的浏览器有:ie,firefox,chrom ...

  8. 环境部署(java安装和配置,Tomcat安装和配置)(tomcat下部署war包)

    1,上传环境部署安装包到服务器上 2,解压安装包,并部署java #  tar -xf jdk-8u201-linux-x64.tar.g # mkdir /usr/java # cp  jdk1.8 ...

  9. (个人)Zookeeper集群环境部署

    一.准备工作 1. 下载zookeeper,下载地址:https://zookeeper.apache.org/releases.html#download  2. 下载CentOS7的镜像,下载地址 ...

最新文章

  1. 刚子扯谈:微信 今天你打飞机了嘛吗?
  2. VR跨界一触即发,探秘87870“魔都之夜”VR派对
  3. (转载)Ubuntu命令卸载软件
  4. 直接排序python实现
  5. 如何获得Android设备名称(ADB命令详细介绍)
  6. 树莓派安装FFTW,linux安装库不生成.so库,拷贝.so .a,按时间查看文件的命令
  7. 20171130C语言知识点梳理
  8. 2019年SpringBoot视频教程【全网免费】每周更新
  9. 【嵌入式技术】Atmega128串口详解
  10. VMware Fusion for Apple silicon
  11. Linux命令-PV
  12. 关于虚拟机的十个基本小技巧
  13. 抖音广告多少种,这些你知道吗?
  14. Delphi 中资源文件使用详解
  15. Navicat连接Linux-MySQL
  16. 你的气象图何必如此枯燥
  17. 特效笔记2--unity粒子系统的基本认识
  18. touchpad android 7.1,手把手教你如何在Touchpad上安装Android
  19. Docker 搭建Spark集群
  20. 如何使用Logger命令将消息添加到Linux日志文件

热门文章

  1. Flutter开发之HTTP网络请求:HttpClient(26)
  2. swift_013(Swift 的运算符)
  3. java纳税服务_纳税服务系统【总结】
  4. python数组文件_python数组
  5. C# List集合转Json字符串示例代码
  6. java多线程之wait和notify
  7. window10安装tensorflow
  8. iOS9基础知识(OC)笔记
  9. Bitmap基本概念及在Android4.4系统上使用BitmapFactory的注意事项
  10. msys2 安装注意事项