下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/
版本：3.2.2
文件名：hadoop-3.2.2.tar.gz

服务器信息

IP地址	主机名
192.168.1.71	hadoop1
192.168.1.72	hadoop2
192.168.1.73	hadoop3

备注：默认是在hadoop1服务器上操作

1. 解压文件

tar -zxvf hadoop-3.2.2.tar.gz

2. 配置文件

路径：etc/hadoop

core-site.xml

<configuration><property><name>fs.default.name</name><value>hdfs://hadoop1:8020</value></property><property><name>hadoop.tmp.dir</name><value>/export/service/hadoop-3.2.2/data/temp</value></property><!-- 缓冲区大小， 实际工作中根据服务器性能动态调整--><property><name>io.file.buffer.size</name><value>4096</value></property><!-- 开启hdfs的垃圾桶机制， 删除掉的数据可以从垃圾桶中回收 单位：分钟--><property><name>fs.trash.interval</name><value>10080</value></property>
</configuration>

hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop1:50090</value></property><!-- 指定namenode的访问地址和端口--><property><name>dfs.namenode.http-address</name><value>hadoop1:50070</value></property><!-- 存储元数据位置--><property><name>dfs.namenode.name.dir</name><value>file:///export/service/hadoop-3.2.2/data/namenode</value></property><!-- datanode数据存储位置--><property><name>dfs.datanode.data.dir</name><value>file:///export/service/hadoop-3.2.2/data/datanode</value></property><!-- datanode日志文件存储位置--><property><name>dfs.datanode.edits.dir</name><value>file:///export/service/hadoop-3.2.2/data/edits</value></property><property><name>dfs.datanode.checkpoint.dir</name><value>file:///export/service/hadoop-3.2.2/data/checkpoint</value></property><property><name>dfs.datanode.checkpoint.edits.dir</name><value>file:///export/service/hadoop-3.2.2/data/cpedits</value></property><!-- 文件存储副本个数--><property><name>dfs.replication</name><value>3</value></property><!-- 设置hdfs文件权限--><property><name>dfs.permissions</name><value>false</value></property><!-- 设置一个文件切片的大小 128M--><property><name>dfs.blocksize</name><value>134217728</value></property>
</configuration>

hadoop-env.sh

# 配置jdk路径
export JAVA_HOME=/home/sjyy/software/jdk

mapred-site.xml

<configuration><!-- 开启mapreduce小任务模式--><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><!-- 设置历史任务的主机和端口--><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value></property><!-- 设置网页访问历史任务的主机和端口--><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value></property>
</configuration>

yarn-site.xml

<configuration><!-- 开启mapreduce小任务模式--><property><name>mapreduce.job.ubertask.enable</name><value>true</value></property><!-- 设置历史任务的主机和端口--><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value></property><!-- 设置网页访问历史任务的主机和端口--><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value></property>
</configuration>

workers

hadoop1
hadoop2
hadoop2

3. 分发

scp  hadoop-3.2.2/ hadoop2:$PWD
scp  hadoop-3.2.2/ hadoop2:$PWD

4. 配置环境变量(三台都执行)

vim /etc/profile

export HADOOP_HOME=/home/sjyy/service/hadoop-3.2.2
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

5. 启动和关闭

cd /home/sjyy/service/hadoop-3.2.2
# hdfs格式化 ，只执行一次，后续启动不在执行
bin/hdfs namenode -format
# 启动hdfs和yarn
sbin/start-all.sh
# 关闭
sbin/stop-all.sh
# 启动历史任务
sbin/mr-jobhistory-daemon.sh start historyserver
# 关闭历史任务
sbin/mr-jobhistory-daemon.sh stop historyserver

6. 查看

hdfs：http://192.168.1.71:50070
yarn：http://192.168.1.71:8088
history：http://192.168.1.71:19888

hadoop集群部署超级详细相关推荐

【大数据】搭建Hadoop集群，超级详细
目录搭建完全分布式运行模式(开发重点) 1.1 Hadoop部署 1.2 配置集群 1.3 配置历史服务器 1.4 配置日志的聚集 1.5 分发Hadoop 1.6 群起集群 1.7 Hadoop群 ...
Hadoop集群部署权限总结
这是一篇总结的文章,主要介绍 Hadoop 集群快速部署权限的步骤以及一些注意事项.如果你想了解详细的过程,请参考本博客中其他的文章. 1. 开始之前 hadoop 集群一共有三个节点,每个节点的 i ...
学习笔记Hadoop（五）—— Hadoop集群的安装与部署（2）—— Hadoop集群部署模式、配置固定IP
一.Hadoop集群部署模式 Hadoop的安装部署的模式一共有三种: 独立模式(本地模式) standalone 默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行.由于 ...
超详细的Hadoop集群部署
本文建立在已经把虚拟机ip环境等已经下载好情况下. 那么,直接开始今天的正题: 搭建集群环境准备这里提供两种思路:一种是将一台直接搭建好,后面的克隆或者copy虚拟机一种是3台并进,多次进行虚拟 ...
Hadoop集群部署模型纵览1
vSphere Big Data Extensions(简称BDE)支持多种部署方式来构建Hadoop集群.按: 存储/计算绑定模型:将存储节点(Data Node)和计算节点(Task Tracke ...
Hadoop集群搭建超详细说明
最近随着公司业务的发展,在一波重构中技术层面主要的目标是双中台建设,由是就有了本文. # 数据中台 ## 1.环境准备 ### 1.1.前置条件 #### Linux wget ##### rpm 安 ...
hadoop集群部署
hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架,主要解决海量数据存储与计算的问题,是大数据技术中的基石. Hadoop以一种可 ...
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后,查看相关WEB界面,打不开的原因可能如下: 1.可以先去检查LINUX(CentOS7)机器的防火墙是否关闭,命令如下: systemctl status firewalld.serv ...
Hadoop集群搭建（详细简单粗暴）
搭建所用Hadoop java版本 hadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz 安装包链接:Hadoop及jdk安装包提取码:icn6 首先,我们先下 ...

hadoop集群部署超级详细

1. 解压文件

2. 配置文件

3. 分发

4. 配置环境变量(三台都执行)

5. 启动和关闭

6. 查看

hadoop集群部署超级详细相关推荐

最新文章

热门文章