hadoop-2.4.0完全分布式集群搭建
2019独角兽企业重金招聘Python工程师标准>>>
1.配置hosts
各linux版本hosts文件位置可能不同,redhat是在 /etc/hosts,编辑之:
172.17.0.1 master
172.17.0.2 resorucemanager
172.17.0.3 datanode1
172.17.0.4 datanode2
172.17.0.5 datanode3
然后copy到其余四台服务器,然后分别执行 /bin/hostsname hostsname
例如:master上执行 /bin/hostsname master,使之生效。
2.配置ssh
2.1 创建hadoop用户
注意:hadoop有两种运行模式,安全模式和非安全模式。安装模式是以指定在健壮的,基于身份验证上运行的,如果无需运行在非安全模式下,可以直接使用root用户。
安全模式下要确保hdfs和yarn以不同的用户身份运行,如hdfs和yarn,还有确保mapreduce jobhistory server以user mapred运行。推荐这三个身份使用一个组名为hadoop。这里为了方便直接使用root。
2.2 配置master无密码ssh各服务器
在master执行操作:
ssh-keygen -t rsa
然后一直回车,最后在/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub
cat id_rsa.pub > ./authorized_keys
然后复制到其他服务器(若没有.ssh文件夹需手动创建)
scp authorized_keys resourcemanager:/root/.ssh/
scp authorized_keys datanode1:/root/.ssh/
scp authorized_keys datanode2:/root/.ssh/
scp authorized_keys datanode3:/root/.ssh/
验证能否无密码ssh,在master服务器上执行操作:
ssh master
注意:第一次可能会提示输入yes or no,之后就可以直接ssh登录了。
同理验证其余四台主机是否可用无密码ssh登录。
3.配置jdk和hadoop环境变量
版本:jdk1.7.0_55 hadoop-2.4.0
下载并解压到
/opt/tools/jdk1.7.0_55
/opt/hadoop-2.4.0
编辑 /etc/profile,在最后加上
export JAVA_HOME=/opt/tools/jdk1.7.0_55
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-2.4.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
保存退出,执行下列命令使之生效
source /etc/profile
4.配置hadoop
配置文件目录为hadoop-2.4.0/etc/hadoop/
4.1 在yarn-env.sh 和hadoop-env.sh文件中加上jdk路径
export JAVA_HOME=/opt/tools/jdk1.7.0_55
4.2 core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><final>true</final></property><property><name>hadoop.tmp.dir</name><value>/opt/tmp/hadoop-${user.name}</value></property><property><name>io.file.buffer.size</name><value>131072</value></property>
</configuration>
4.3 hdfs-site.xml
<configuration><property><name>dfs.namenode.name.dir</name><value>file:/opt/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/dfs/data</value></property><property><name>dfs.replication</name><value>3</value></property>
</configuration>
4.4 mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>Execution framework set to Hadoop YARN.</description></property>
</configuration>
4.5 yarn-site.xml
<configuration><property><name>yarn.resourcemanager.address</name><value>jobtracker:9001</value><description>The address of the applications manager interface in the RM.</description></property><property><name>yarn.resourcemanager.scheduler.address</name><value>jobtracker:18030</value><description>The address of the scheduler interface,in order for the RM to obtain the resource from scheduler</description></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>jobtracker:18025</value><description>The address of the resource tracker interface for the nodeManagers</description></property><property><name>yarn.resourcemanager.admin.address</name><value>jobtracker:18035</value><description>The address for admin manager</description></property><property><name>yarn.resourcemanager.webapp.address</name><value>jobtracker:18088</value><description>The address of the RM web application.</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
4.6 slaves
在该文件中添加
datanode1
datanode2
datanode3
注意:上面配置文件中出现的目录需要自己创建。配置文件需要复制到各个服务器上,并且个服务器目录结构要相同。
5.运行hadoop
为了以防某个节点未启动报错,建议单独启动每项节点,启动顺序依次为:
格式化namenode(master):
hdfs namenode -format
启动namenode(master):
/opt/hadoop-2.4.0/sbin/hadoop-daemon.sh --config /opt/hadoop-2.4.0/etc/hadoop --script hdfs start namenode
启动datanode(master):
/opt/hadoop-2.4.0/sbin/hadoop-daemon.sh --config /opt/hadoop-2.4.0/etc/hadoop --script hdfs start datanode
启动resourcemanager(resourcemanager)
/opt/hadoop-2.4.0/sbin/yarn-daemon.sh --config /opt/hadoop-2.4.0/etc/hadoop start resourcemanager
启动nodemanager(resourcemanager)
/opt/hadoop-2.4.0/sbin/yarn-daemon.sh --config /opt/hadoop-2.4.0/etc/hadoop start nodemanager
启动WebAppProxy Server(resourcemanager)
/opt/hadoop-2.4.0/sbin/yarn-daemon.sh start proxyserver --config /opt/hadoop-2.4.0/etc/hadoop
启动MapReduce JobHistory Server(resourcemanager)
/opt/hadoop-2.4.0/sbin/mr-jobhistory-daemon.sh start historyserver --config /opt/hadoop-2.4.0/etc/hadoop
注意:上面括号中的内容表示在哪个服务器上执行命令。启动前需要所有服务器的防火墙关闭,执行
service iptables stop
也可以想一次性启动,直接在master上启动hdfs,在resourcemanager上启动yarn资源管理系统
启动hdfs(master)
/opt/hadoop-2.4.0/sbin/start-dfs.sh
启动yarn(resourcemanager)
/opt/hadoop-2.4.0/sbin/start-yarn.sh
若一切顺利,在各服务器上输入jps
master显示:
30739 Jps
9547 NameNode
9746 SecondaryNameNode
resourcemanager显示:
2917 Jps
27910 ResourceManager
各个datanode显示:
24334 Jps
1594 NodeManager
1027 DataNode
至此,一个完全分布式hadoop集群搭建成功
关闭hadoop按照上面启动的顺序呢,把start改成stop即可。
转载于:https://my.oschina.net/voyage1314/blog/262392
hadoop-2.4.0完全分布式集群搭建相关推荐
- hbase分布式集群搭建
hbase和hadoop一样也分为单机版.伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建. hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop ...
- Hadoop分布式集群搭建以及案例运行-fs操作
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统) 一:创建分布式集群环境 二:设置静态ip以及主机名与映射关系 三:创建用户.配置SSH无密登录 四:子机dn操作 五:配置主机jdk.ha ...
- HADOOP 伪分布式集群搭建
一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
- Hadoop完全分布式集群搭建
hadoop本地模式搭建 首先准备一台Linux环境的服务器关闭防火墙 # 查看防火墙状态 systemctl status firewalld # 停止防火墙 systemctl stop fire ...
- [大数据技术与应用省赛学习记录二]——模块一(HADOOP完全分布式集群搭建)
**在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...
- hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...
- redis3.0.2 分布式集群安装详细步骤
redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史 时间 版本 说明 编写者 2015-06-5 1.0 redis3.0.2 分布式集群安装详细步骤 cs ...
- 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
- 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建 一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络 为虚拟机普通用户配置 ...
最新文章
- HDU1827(强连通分量)
- Flink State 误用之痛,你中招了吗?
- IBASE timestamp conversion exit
- Atitit.ati orm的设计and架构总结 适用于java c# php版
- 英特尔为 Kubernetes 推出分布式深度学习平台:Nauta
- 测量仪图片_介绍一款电线电缆检测智能影像测量仪
- react 注释html,React之JSX语法
- 55.Linux/Unix 系统编程手册(下) -- 文件加锁
- css position relative absolute fixed
- ARKit 和 ARCore剖析、结构、原理介绍
- 软件工程-软件需求规格说明书模板
- Linux -- umount磁盘卸载失败怎么办?
- win10 uwp 截图 获取屏幕显示界面保存图片
- 计算机应用专业毕业感言,大学毕业感言一句话
- 微信表情符号写入案件判决
- oracle vm 产品介绍,Oracle VM Server for SPARC 产品概述
- 计算机控制系统的输入输出信号,工业控制系统的输入与输出信号
- 思考的梯子 | 黄金圈法则What-How-Why(超干货)
- TIOBE 7 月编程语言排行榜:C、Java 和 Python 争夺第一
- 黑马程序员——java基础---网络编程
热门文章
- 读取excel文件错误
- json文件示例_Spark SQL - JSON数据集
- 网络库urillib3
- Akka入门(二)Akka的Actor模型如何满足现代分布式系统需求
- 自然语言处理期末复习(7)平行文本与机器翻译
- 笔记-中项案例题-2020年下-质量管理
- Jenkins修改插件下载地址为国内下载地址与安装中文插件
- DataGridView中获取与设置当前选中行以及SelectedRows和CurrentRow注意区分
- Winform中使用FastReport的PictureObject时通过代码设置图片源并使Image图片旋转90度
- Tkinter的Checkbutton组件的简单使用