CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (一)准备工作
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (三)问题收集
CentOS 6 安装Hadoop 2.6 (四)运行简单例子
下文服务器描述:一个主节点master,2个从节点slave1和slave2。
1. 解压文件
tar -xzvf hadoop-2.6.4.tar.gz
mv hadoop-2.6.4 /opt/
2. 配置环境变量
vi etc/profile
到末尾增加以下内容
HADOOP_HOME=/opt/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
更新文件:
source /etc/profile
在其他服务器上也执行类似操作。
3.修改配置
cd /opt/hadoop-2.6.4/etc/hadoop
(1) hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_77
export HADOOP_PREFIX=/opt/hadoop-2.6.4
(2) yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_77
(3) core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.6.4/tmp</value></property>
</configuration>
请先建立/opt/hadoop-2.6.4/tmp文件夹
(4) hdfs-site.xml
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-2.6.4/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-2.6.4/dfs/data</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.replication</name><value>2</value></property>
</configuration>
请先建立/opt/hadoop-2.6.4/dfs/data与/opt/hadoop-2.6.4/dfs/name文件夹
(5) mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
(6) yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8035</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property>
</configuration>
(7) slaves
slave1
slave2
将从节点的hostname写入这个文件
4. 拷贝到其他主机
每台服务器的Hadoop目录地址需要完全一致
将配置好的hadoop拷贝slave1和slave2:
scp -r /opt/hadoop-2.6.4 root@slave1:/opt/
scp -r /opt/hadoop-2.6.4 root@slave2:/opt/
请注意上文中提到的文件夹在从节点中是否都已经建立好(由于上面的例子数据文件夹在hadoop文件夹中,所以就不需要自己在从节点重新建立)
5. 运行Hadoop
(1)格式化数据节点
在各个节点上都要执行
hdfs namenode -format //由于上文已经配置了path,所以直接运行hdfs
(2)启动dfs
start-dfs.sh
用jps检查master是否存在以下进程
23194 SecondaryNameNode
23023 NameNode
用jps检查slave是否存在以下进程
18652 DataNode
(3)启动yarn
start-yarn.sh
用jps检查master是否新增了以下进程
23451 ResourceManager
用jps检查slave是否新增了以下进程
18910 NodeManager
(4)访问管理网页
地址一:http://你的masterIP地址:8088/
检查该地址是否可以正常访问,并且Nodes标签中是否可以看到2个slave节点
地址二:http://你的masterIP地址:50070/
检查该地址是否可以正常访问,以及Overview后面跟的是否是’master:9000’ (active),如果显示localhost可能就有问题了。再检查Live Nodes中是否有2个slave节点。
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop相关推荐
- Hadoop实践1-inux deepin配置Hadoop环境
本次实践主要参考了厦门大学数据库实验室的内容链接如下: http://dblab.xmu.edu.cn/blog/install-hadoop/ 配置Java环境 参考之前的实践文章:https:// ...
- mac搭建hadoop集群二之hadoop安装
上一篇我们已经准备好三台虚拟机,计划一主两从搭建hadoop集群.没安装的可以参考一下. 虚拟机安装传送门:mac搭建hadoop集群之虚拟机安装 集群规划 主机 角色 node1 NN DN RM ...
- 【linux】Centos 初始安装后开启网络以及配置静态IP
启用网络 查看网卡信息 ip a 根据显示的网卡名称,查找网卡位置 find / -name "*eno16780032" 修改 /etc 目录下的网卡配置文件,将网卡设置为启动 ...
- linux hadoop 伪分布,linux配置Hadoop伪分布安装模式
1)关闭禁用防火墙: /etc/init.d/iptables status 会得到一系列信息,说明防火墙开着. /etc/rc.d/init.d/iptables stop 关闭防火墙 2)禁用SE ...
- hadoop学习2 记录配置hadoop环境的那些坑
1.在你的学习阶段,记住先关闭防火墙. centos: systemctl stop firewalled.service 2.windows本地配置eclipse,远程调测阶段: 第一: 还是先关闭 ...
- 学习笔记Hadoop(十二)—— Hadoop基础操作(4)—— YARN资源管理与调度策略
六.YARN资源管理与调度策略 6.1.YARN资源管理 MapReduce任务/资源流程: 由5.1章节我们可知,当把yarn.scheduler.capacity.maximum-am-resou ...
- ubuntu下安装配置hadoop
hadoop框架 Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameNode,JobTracker,TaskTracke ...
- linux中jdk环境配置,安装MySQL,配置Hadoop伪分布式,配置hive环境
1.修改虚拟机名称 vi /etc/hostname 进入命令模式输入[:wq]保存退出 2.修改虚拟机映射 vi /etc/hosts 输入端口号+虚拟机名称,保存退出[:wq] 3.重启虚拟机 r ...
- 【哈渡谱】带你玩转Hadoop之《CentOS虚拟机安装篇》
本文目录 <哈渡谱>之装机篇 〇.准备 一.虚拟计算机创建 二.操作系统安装 三.网络配置 结语 <哈渡谱>系列文章链接 近来,偶得一本"武林秘籍"--&l ...
最新文章
- 基于django的视频点播网站开发-step12-后台订阅功能
- .Net Core下如何管理配置文件
- Dapr 交通流量控制示例
- shell自定义数组元素分隔符
- STP状态切换详述(Cisco实现)
- 数组(数组名)与指针辨异
- hdu 3951 博弈
- linux自带的cpu监测工具,Linux CPU实时系统监控工具mpstat
- python3.5安装包_Python 3.5.4详细图文安装教程(附安装包) | 我爱分享网
- 01--QT GUI视频教程
- 单片机原理与接口技术期末总复习
- Statistics Pro for Mac(统计学软件)
- java开发环境实验总结_20155229 实验一《Java开发环境的熟悉》实验报告
- 拓扑学 计算机领域,吴国平: 拓扑学到底有多重要? 在数学中占据多高的地位?...
- MyBatis 的级联查询
- 如何利用阿里云进行创建属于自己的网站
- centOS:常用命令
- 纯CSS3实现常见的时间进度线(竖立方向)
- PyQt5_Demo5
- 计算机组成原理微控器功能,(计算机组成原理)实验三微控器实验.ppt