hadoop环境新手安装教程
1、资源准备:
(1)jdk安装包:我的是1.8.0_202
(2)hadoop安装包:我的是hadoop-3.3.1
注意这里不要下载成下面这个安装包了,我就一开始下载错了
错误示例:
2、主机网络相关参数准备
这里主要涉及hostname改写、hosts修改和ip地址改写
(1)修改hostname。这里我用了3台虚拟机,1台改为master,另外2台分别改为node1和node2
cd /etc/ // 进入配置目录vi hostname // 编程hostname 配置文件
(2)修改hosts。这里根据每台虚机的ip选择相应的hostname就行
vi /etc/hosts
(3)IP地址改写,这里需要修改虚机的配置,选择NAT模式,DHCP选择想要的网段就行。
注意:以上的操作需要在每台虚机上分别执行 !!!
3、配置ssh免密登陆
这一步在master主机上操作,一直按回车:
ssh-keygen
会生成以下4个文件:
之后使用以下命令将密钥分发到node1和node2:
ssh-copy-id root@node1
ssh-copy-id root@localhost
ssh-copy-id root@node2
成功后就应该能免密登陆node1和node2了:
4、配置java环境
我将jdk安装包和hadoop安装包都放在master主机/opt目录下了,同时新建一个bigdata目录:
(1)首先需要解压jdk安装包,并将解压后的文件夹放进bigdata目录:
tar -zxvf jdk-8u202-linux-x64.tar.gz
mv jdk1.8.0_202/ bigdata/
(2)然后配置java环境变量:
vi /etc/profile
配置完生效并验证是否成功:
source /etc/profile
java -version #验证环境是否配置成功
5、安装hadoop
同样是先解压然后移动到bigdata目录:
tar -zxvf hadoop-3.1.1.tar.gz
mv hadoop-3.1.1 bigdata/
接着同样是配置环境变量:
vi /etc/profile
配置完生效并验证是否成功:
source profile
hadoop verison
6、配置hadoop
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。
首先进入存放文件的目录:
cd /opt/bigdata/hadoop-3.3.1/etc/hadoop/
(1)配置hadoop-env.sh
vi命令打开文件,输入 :/export JAVA_HOME 查找需要修改的地方并修改(注意将版本号换成自己的):
(2)配置 core-site.xml
vi命令打开文件,找到一对尖括号框起来的configuration位置,插入(注意将版本号换成自己的):
<configuration><property><name>fs.default.name</name><value>localhost:9000</value></property><property><name>hadoop.temp.dir</name><value>/opt/bigdata/hadoop-3.3.1/temp</value></property>
</configuration>
修改成如下:
(3)配置hdfs-site.xml
vi打开文件同样在configuration处插入(注意将版本号换成自己的):
<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.datanode.name.dir</name><value>/opt/bigdata/hadoop-3.3.1/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/bigdata/hadoop-3.3.1/hdfs/data</value></property><property><name>dfs.namenode.secondary.http-address</name><value>node1:9001</value></property><property><name>dfs.http.address</name><value>0.0.0.0:50070</value></property>
</configuration>
(4)配置mapred-site.xml
同样的操作:
<configuration><property><name>mapred.job.tracker.http.address</name><value>0.0.0.0:50030</value></property><property><name>mapred.task.tracker.http.address</name><value>0.0.0.0:50060</value></property><property><name>mapreduce.framework.name</name><value>yarn</value></property>
<property><name>mapreduce.application.classpath</name><value>/opt/bigdata/hadoop-3.3.1/etc/hadoop,/opt/bigdata/hadoop-3.3.1/share/hadoop/common/*,/opt/bigdata/hadoop-3.3.1/share/hadoop/common/lib/*,/opt/bigdata/hadoop-3.3.1/share/hadoop/hdfs/*,/opt/bigdata/hadoop-3.3.1/share/hadoop/hdfs/lib/*,/opt/bigdata/hadoop-3.3.1/share/hadoop/mapreduce/*,/opt/bigdata/hadoop-3.3.1/share/hadoop/mapreduce/lib/*,/opt/bigdata/hadoop-3.3.1/share/hadoop/yarn/*,/opt/bigdata/hadoop-3.3.1/share/hadoop/yarn/lib/*
</value>
</property>
</configuration>
(5)配置下yarn-site.xml
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.webapp.address</name><value>master:8099</value>
</property>
(6)配置workers
在当前目录修改workers文件:
最后只有master、node1和node2:
7、环境的配置已经改完了。接着还需要修改一下启动脚本的参数:
进入到sbin目录:
cd /opt/bigdata/hadoop-3.3.1/sbin
(1) 在start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数:
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
(2)start-yarn.sh,stop-yarn.sh顶部也需添加以下参数:
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
至此,所有的配置都已经做完了,现在需要将配置文件分发到两个子节点去(子节点没有bigdata文件夹需要新建一个):
scp -r /opt/bigdata/hadoop-3.3.1 node1:/opt/bigdata
scp -r /opt/bigdata/hadoop-3.3.1 node2:/opt/bigdata
接着分别在两个子节点上执行下面命令生效配置:
source /etc/profile
source ~/.bashrc
最后就可以开始准备启动hadoop集群了。
(1)第一次启动需要初始化hdfs,在 /opt/bigdata/hadoop-3.3.1/bin目录下执行:
./hdfs namenode -format
出现如下语句表示初始化成功:
(2)进入/opt/bigdata/hadoop-3.3.1/sbin目录执行最后的集群启动命令:
./start-all.sh
参考:Hadoop 平台搭建完整步骤
hadoop环境新手安装教程相关推荐
- python程序可以在任何安装了解释器_Python解释器新手安装教程
Python解释器本身也是个程序,它是解释执行Python代码的,没有它Python代码是没有办法运行的.既然Python解释器如此重要,那么大家赶紧一起来看看Python解释器新手安装教程吧! St ...
- Hadoop、Hbase安装教程保姆级教程
Hadoop.Hbase安装教程 准备Centos系统 设置网络 安装java环境 配置SSH免密登录 安装hadoop 修改Hadoop相关命令执行环境 修改Hadoop配置 运行和测试 Web界面 ...
- linux加protobuf变量环境,protobuf简单介绍和ubuntu 16.04环境下安装教程
protobuf简单介绍 protobuf是谷歌的开源序列化协议框架,结构类似于XML,JSON这种,显著的特点是二进制的,效率高,主要用于通信协议和数据存储等方面,算是一种结构化数据的表示方法. p ...
- Pytorch环境详细安装教程【Win10+CUDA升级11.6+cudNN+Anaconda3虚拟环境+pycharm】
Pytorch环境详细安装教程 一.安装环境 二.CUDA升级 1.更新NVIDIA显卡驱动 (1)查看自己的CUDA驱动和运行版本 (2)更新CUDA驱动 2.升级CUDA运行版本 (1)查看可用的 ...
- Windows10+UBUNTU-18.04 -20.04完整新手安装教程
Windows10+UBUNTU 双系统新手安装完全教程 由于人工智能机器学习,开始学习Python旅程,并花费大量精力时间搭建Windows10下的Python环境,CUDA.TensorFlow. ...
- mysql linux centos7_MySQL在Linux centos7环境下安装教程详解(图)
这篇文章主要为大家详细介绍了Linux centos7环境下MySQL安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 Linux centos7环境下安装MySQL步骤的详细介绍 安装My ...
- 【windows环境——VSCode安装教程】
大家好呀!我是超梦,今天给小伙伴们带来一个最新版在windows环境的VSCode安装教程,话不多说我们开始吧. VSCode安装 下载与安装 设置中文环境 下载与安装 1. 第一步,进入官网,根据自 ...
- hadoop高可用安装教程(刘浩)
hadoop高可用安装 date: 2020-06-18 21:11:28 categories: 大数据 hadoop 前期准备 准备好四台安装了centos系统的虚拟机,并在其中一台完成伪分布式的 ...
- VS2017搭建OpenCV环境(新手详细教程)
整体流程如下: 下载Visual Studio2017版本 下载OpenCV3.4.1版本 配置环境变量 在Visual Studio2017中引入头文件.库文件.链接库 环境测试 说明:没有必要根据 ...
最新文章
- 二叉树的深搜(DFS)与广搜(BFS)
- SpringBoot入门篇之properties中定义user.name失效解决
- 云栖首日:智物智造宣布3年10亿目标
- linux java maven项目_Java maven项目在window下运行正常,部署到Linux环境中启动报错,是由什么引起的?...
- CNN结构:MXNet设计和实现简介
- 求职信计算机工程师英语作文,开发工程师英文求职信范文
- YBTOJ:斐波拉契(矩阵快速幂)
- ue4序列帧ui_UE4入门之路(UI篇):UI性能优化
- oracle用exp定时备份数据库,使用exp和imp对Oracle数据库进行简单的备份
- SpringBoot工作机制
- Python-selenium:鼠标键盘事件
- 【MFC】解决窗口大小改变之后,ComboBox当前选项文字出现蓝色背景
- 基于MATLAB的差分方程战斗模型
- UBUNTU环境下编译的openwrt
- c语言名人名言大全摘抄,语文摘抄名人名言
- gh-ost修改数据量较大表结构实战
- 2021年最全圣诞节攻略,外贸人看这一篇就够了
- Impala Shell 和 Impala SQL
- Camera2打开相机,建立会话,并监听相机流(以拍照为例)
- 数学会对计算机编程的关系
热门文章
- 移动APP登录注册(vue+vant)
- 评论回复功能 asp.net_微信重大更新!公众号推送时间线打乱+7大新功能上线!怎么玩?...
- X/Open和OSF
- 科学绘图软件 Prism 安装教程
- 杨建允:抖快直播电商的运营逻辑是否可以复制
- 数学问题1 - 两个圆圈,小圆贴着大圆外部转过一圈,问小圆转几圈
- android 背景 投影,Android ImageView投影
- linux xen 管理,ARM平台上运行Xen 可同时管理linux和VxWorks
- 三层架构的bussiness层没用?
- html基础常用标签,HTML基础(三)常用标签-by Haley(示例代码)