超详细的Hadoop2配置详解
1. 集群环境
Master 192.168.2.100
Slave1 192.168.2.101
Slave2 192.168.2.102
2. 下载安装包
Master
wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz
tar zxvf hadoop-2.8.4.tar.gz
3. 修改Hadoop配置文件
Master
cd hadoop-2.8.4/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
vim yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
vim slaves
slave1
slave2
vim core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop-2.8.4/tmp</value></property>
</configuration>
vim hdfs-site.xml
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop-2.8.4/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop-2.8.4/dfs/data</value></property><property><name>dfs.repliction</name><value>3</value></property>
</configuration>
vim mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
vim yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8035</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property>
</configuration>
#创建临时目录和文件目录
mkdir /usr/local/hadoop-2.8.4/tmp
mkdir -p /usr/local/hadoop-2.8.4/dfs/name
mkdir -p /usr/local/hadoop-2.8.4/dfs/data
4. 配置环境变量
Master、Slave1、Slave2
vim ~/.bashrc
HADOOP_HOME=/usr/local/src/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin
刷新环境变量
source ~/.bashrc
5. 拷贝安装包
Master
scp -r /usr/local/src/hadoop-2.8.4 root@slave1:/usr/local/src/hadoop-2.8.4
scp -r /usr/local/src/hadoop-2.8.4 root@slave2:/usr/local/src/hadoop-2.8.4
6. 启动集群
Master
初始化Namenode
hadoop namenode -format
启动集群
./sbin/start-all.sh
6. 集群状态
jps
Master
Slave1
Slave2
7.监控网页
http://master:8088
测试
关闭集群
./sbin/hadoop stop-all.sh
转载于:https://www.cnblogs.com/xtbao/p/9609738.html
超详细的Hadoop2配置详解相关推荐
- 超详细!ActionBar 使用·详解
一.ActionBar介绍 在Android 3.0中除了我们重点讲解的Fragment外,Action Bar也是一个非常重要的交互元素,Action Bar取代了传统的tittle bar和men ...
- 超详细!ActionBar 使用·详解 .
视频课:https://edu.csdn.net/course/play/7621 一.ActionBar介绍 在Android 3.0中除了我们重点讲解的Fragment外,Action Bar也是 ...
- 超详细!ActionBar使用详解
转自:https://www.cnblogs.com/mjsn/p/6150824.html 一.ActionBar介绍 在Android 3.0中除了我们重点讲解的Fragment外,Action ...
- 【YOLO系列】YOLOv5超详细解读(网络详解)
前言 吼吼!终于来到了YOLOv5啦! 首先,一个热知识:YOLOv5没有发表正式论文哦~ 为什么呢?可能YOLOv5项目的作者Glenn Jocher还在吃帽子吧,hh 目录 前言 一.YOLOv5 ...
- 【HTTP协议】超详细的HTTP协议详解
基本介绍 HTTP是一个属于应用层的面向对象的协议,由于其简捷.快速的方式,适用于分布式超媒体信息系统.它于1990年提出,经过几年的使用与发展,得到不断地完善和扩展.目前在WWW中使用的是HTTP/ ...
- Hadoop2配置详解
配置文件 hadoop的配置是由两种重要类型的配置文件进行驱动的: 默认是只读的配置: core-default.xml, hdfs-default.xml, yarn-default.xml and ...
- 超详细!一文详解 SparkStreaming 如何整合 Kafka !附代码可实践
来源 | Alice菌 责编 | Carol 封图 | CSDN 下载于视觉中国 出品 | CSDN(ID:CSDNnews) 相信很多小伙伴已经接触过 SparkStreaming 了,理论就不讲 ...
- 【超详细】7z的详解和7z的控制台参数说明
目录 简介 退出代码 使用语法 原版使用说明 命令及实例 a 添加文件到压缩档案 b 测试 CPU 运行速度及检查内存错误 d 从压缩档案删除文件 e 从压缩档案中释放文件到当前目录中 l 列出压缩档 ...
- 超详细!一文详解容器网络发展
推荐大家关注一个公众号 点击上方 "编程技术圈"关注, 星标或置顶一起成长 后台回复"大礼包"有惊喜礼包! 每日英文 Somethings,I don't ta ...
最新文章
- HttpHand和HttpModule的详细解释,包括Asp.Net对Http请求的处理流程。
- 模板 - 无向图的连通性
- uni app map 地图 漂浮问题及方案
- Q82:三角形网格[Triangle Mesh]图形的平滑着色[Smooth Shading]
- input type类型_005 类型转换,我的存款是负值
- LINUX环境变量environ
- 平衡小车—TB6612FNG与直流电机控制教程
- WebService接口大全
- KOF97判定框查看方法
- Laravl路由的讲解
- 华视身份证阅读器SDK使用手册
- 对抗生成网络学习(十四)——DRAGAN对模型倒塌问题的处理和生成图像质量评价(tensorflow实现)
- iOS学习道路上的一些良师益友
- linux操作系统启动流程与kickstart文件制作
- Xcode7 编译报错
- 小程序公告php实现,小程序两种滚动公告栏的实现方法
- 方向盘左右能摇动_汽车方向盘开起来会左右摇摆---怎么解决
- To avoid scope ambiguity, the default slot should also use template syntax when there are other na
- DM数据库用户及权限管理
- 高阶函数、js函数内返回一个内部函数详解---->函数柯里化