Hadoop集群搭建(超级超级详细)
Hadoop集群搭建(超级超级详细)
1、集群规划
安装VMware,使用三台 Ubuntu18.04 虚拟机进行集群搭建,下面是每台虚拟机的规划:
主机名 | IP | 用户 | HDFS | YARN |
---|---|---|---|---|
hadoopWyc | 待定 | wyc | NameNode、DataNode | NodeManager、ResourceManager |
hadoopWyc2 | 待定 | wyc | DataNode、SecondaryNameNode | NodeManager |
hadoopWyc3 | 待定 | wyc | DataNode | NodeManager |
2、网络配置
我首先在VMware中新建一台8G内存(安装Ubuntu默认系统的内存就可以了),20G硬盘空间的Ubuntu虚拟机。新建完成后进行下面操作。
普通用户登录后请记住这个IP地址,后面需要用到!!!
先登入root用户,后面都在root用户下操作。
su root #登入root用户
还没设置root用户密码的参考 Ubuntu18.04设置root密码(初始密码)
2.1 修改主机名
vim /etc/hostname #修改文件
执行上面的命令打开“/etc/hostname”这个文件,将其中内容删除,并修改为“hadoopWyc”(你们可以根据你们需要修改想要的主机名),保存退出vim编辑器,重启Linux即可看到主机名发生变化。
2.2 查看虚拟机网络信息
2.2.1 点击VMware的编辑里的虚拟网络编辑器
2.2.2 选择VMnet8网络,点击NAT设置
记录上面图中子网掩码、网关,加上前面的IP地址三个属性,这些在后面的步骤有用,不同的电脑会有不同。
2.2.3 获取Ubuntu虚拟机的网卡编号
ifconfig
2.2.4 设置静态网络
vim /etc/network/interfaces
在原有的内容上添加
auto ens33 # 网卡编号,我这里是ens33
iface ens33 inet static # 设置为静态IP
address 192.168.153.136 # 该机器的IP,就是我们登录后显示的那个IP 地址
netmask 255.255.255.0 # 子网掩码,刚才获取VMware的子网掩码
gateway 192.168.153.2 # 网关,也是刚才获取的网关
dns-nameserver 192.168.153.2 # DNS,和网关一样即可
上面的内容根据各自的电脑进行设置,一定要和VMware中的子网IP、子网掩码、网关保持一致,不然会上不了网。保存退出vim编辑器,重启Ubuntu即可生效。
3、安装 ssh 服务端
apt-get install openssh-server
安装虚拟机时有勾选安装ssh的会和下图一样,继续往下做就行了
安装后,使用下面命令登录本机:
ssh localhost
补充:ssh localhost = ssh <当前用户>@localhost -p 22 -i ~/.ssh/id_rsa
SSH首次登录会有提示,输入yes即可,然后按照提示输入本机密码即可。
但是这样每次登录都要输入密码,现在设置SSH无密码登录。首先退出SSH,利用ssh-keygen生成密钥,并将密钥加入到授权中。
exit # 退出ssh localhost
cd ~/.ssh/
ssh-keygen -t rsa # 会有提示,都按回车就行
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
现在再使用"ssh localhost",就可以不用输入密码登录ssh
4、安装Java环境
Hadoop3.1.3需要JDK版本在1.8及以上,点击右边链接可以下载符合版本的JDK:jdk-8u162-linux-x64.tar.gz(提取码:ik9p)。
我们可以通过Xshell连接虚拟机,主机名就是刚才登录显示的那个IP地址,端口默认22,选择账户密码登录输入用户名和密码就可以登录了(如果上面没有安装开启.ssh服务,在这里会连接不上虚拟机)
点击上面绿色小图标,我们就打开了Xftp,可以直接把本地的文件传输到虚拟机
用普通用户登录Xshell的人会报错误本地文件传不到虚拟机上:
有两种解决方案:
- Xshall用root登录,再打开Xftp(这样Xftp也是root用户打开,拥有所有权限),可是Xshall用root登录虚拟机会连接不上,参考:Xshell用root用户连接Linux 可以解决
- 参考:Xftp 传文件到虚拟机一直显示状态错误,传不进去
将文件放在随便一个目录中后,执行下面命令:
cd /usr/lib
mkdir jvm # 创建目录来存放JDK文件
然后再进入 jdk-8u162-linux-x64.tar.gz 所在的文件夹解压JDK到刚才创建的 jvm 文件夹
tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #解压JDK到刚才创建的jvm文件夹
将JDK文件解压之后,进入/usr/lib/jvm目录下会有个jdk1.8.0_162文件,下面我们开始设置环境变量
vim ~/.bashrc
在打开的文件首部添加下面内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存退出vim编辑器,执行下面命令让.bashrc文件的配置生效:
source ~/.bashrc
接下来使用下面命令查看是否安装成功:
java -version
如果如下面一样有显示java的版本信息,则表示安装成功:
5、安装Hadoop3.1.3
hadoop-3.1.3.tar.gz (提取码: qne0)可以在这点击下载,将其下载并上传到相应的位置上,使用下面命令安装,也要和安装Java一样给文件夹权限:
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local # 解压到/usr/local中
cd mv ./hadoop-3.1.3/ ./hadoop # 将文件名改为hadoop
sudo chown -R rmc0924 ./hadoop # 修改权限,当前是什么用户登录,就给他赋予用户的权限
解压后使用下面命令看是否安装成功,安装成功会显示Hadoop的版本信息。
cd /usr/local/hadoop
./bin/hadoop version
如图所示:
6、克隆虚拟机
经过上面步骤,名称为hadoopWyc的Ubuntu已经配置完成,现在退出该虚拟机。将该虚拟机克隆出另外两台虚拟机,分别命名为hadoopWyc2和hadoopWyc3。
在后面的提示框中依次选择“虚拟机中的当前状态”、“创建完整克隆”、对克隆的虚拟机命名、选择位置,等待克隆完成。
最后的虚拟机如下所示:
将hadoopWyc2和hadoopWyc3两台虚拟机按照2.1和2.2中步骤,修改主机名以及各自的静态IP,备用。最后我们可以把最初的那张表补全:
主机名 | IP | 用户 | HDFS | YARN |
---|---|---|---|---|
hadoopWyc | 192.168.153.136 | wyc | NameNode、DataNode | NodeManager、ResourceManager |
hadoopWyc2 | 192.168.153.137 | wyc | DataNode、SecondaryNameNode | NodeManager |
hadoopWyc3 | 192.168.153.138 | wyc | DataNode | NodeManager |
7、三台虚拟机都加上主机IP映射
打开hosts文件,新增三条IP与主机的映射关系:
vim /etc/hosts
192.168.153.136 hadoopWyc
192.168.153.137 hadoopWyc2
192.168.153.138 hadoopWyc3
8、集群搭建
现在正式搭建Hadoop集群。首先我们还是需要打开VMware中的三台虚拟机,然后用Xshall连接好三台虚拟机就行了。
三台机子之间互相ping,看是否能ping通。
8.1 SSH无密码登录节点
必须要让hadoopWyc节点可以SSH无密码登录到各个hadoopWyc2和hadoopWyc3节点上。首先生成hadoopWyc节点公钥,如果之前已经生成,必须删除,重新生成一次。在hadoopWyc上进行下面操作:
cd ~/.ssh
rm ./id_rsa* # 删除之前生成的公钥
ssh-keygen -t rsa # 遇到信息,一直回车就行
再让hadoopWyc节点能够无密码SSH登录本机,在hadoopWyc节点上执行下面命令:
cat ./id_rsa.pub >> ./authorized_keys
使用下面命令进行测试:
ssh hadoopWyc
接下来将hadoopWyc上的公钥传给各个hadoopWyc2&3节点:
scp ~/.ssh/id_rsa.pub hadoopWyc2:/home/wyc
scp ~/.ssh/id_rsa.pub hadoopWyc3:/home/wyc
其中scp是secure copy的简写,在Linux中用于远程拷贝。执行scp时会要求输入hadoopWyc2&3用户的密码,输入完成后会显示传输完毕:
接着在hadoopWyc2节点上,将接收到的公钥加入授权:
mkdir ~/.ssh # 如果不存在该文件夹,先创建
cat /home/wyc/id_rsa.pub >> ~/.ssh/authorized_keys
rm /home/wyc/id_rsa.pub # 加完就删除
在hadoopWyc3节点中也执行以上的命令。执行完了之后,在hadoopWyc节点上就可以无密码登录hadoopWyc2&3节点,在hadoopWyc节点上执行下面命令:
ssh hadoopWyc2
在hadoopWyc登录hadoopWyc2,这个时候输入命令等于在虚拟机hadoopWyc2执行一样
输入exit即可退出
8.2 配置集群环境
配置集群模式时,需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件,包括workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
8.2.1 修改workers文件
vim workers
该文件内容可以指定某几个节点作为数据节点,默认为localhost,我们将其删除并修改为hadoopWyc2和hadoopWyc。当然也可以将hadoopWyc加进去,让hadoopWyc节点既做名称节点,也做数据节点,本文将hadoopWyc一起加进去作为数据节点。
hadoopWyc
hadoopWyc2
hadoopWyc3
8.2.2 修改core-site.xml文件
vim core-site.xml
fs.defaultFS:指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端口
hadoop.tmp.dir:hadoop集群在工作时存储的一些临时文件存放的目录
<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoopWyc:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value></property>
</configuration>
8.2.3 修改hdfs-site.xml文件
vim hdfs-site.xml
dfs.secondary.http.address:secondarynamenode运行节点的信息,应该和namenode存放在不同节点
dfs.repliction:hdfs的副本数设置,默认为3
dfs.namenode.name.dir:namenode数据的存放位置,元数据存放位置
dfs.datanode.data.dir:datanode数据的存放位置,block块存放的位置
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoopWyc2:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>
8.2.4 修改mapred-site.xml文件
vim mapred-site.xml
mapreduce.framework.name:指定mapreduce框架为yarn方式
mapreduce.jobhistory.address:指定历史服务器的地址和端口
mapreduce.jobhistory.webapp.address:查看历史服务器已经运行完的Mapreduce作业记录的web地址,需要启动该服务才行
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoopWyc:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoopWyc:19888</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value></property>
</configuration>
8.2.5 修改yarn-site.xml文件
vim yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoopWyc</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
8.3 分发文件
修改完上面五个文件后,将hadoopWyc节点上的hadoop文件复制到各个结点上。在hadoopWyc节点上执行下面命令:
cd /usr/local
sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/* # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz hadoop # 先压缩再复制
cd ~
scp hadoop.master.tar.gz hadoopWyc2:/home/
scp hadoop.master.tar.gz hadoopWyc3:/home/
在其他hadoopWyc2&3节点将接收的压缩文件解压出来,并授予权限,命令如下:
sudo rm -r /usr/local/hadoop # 删掉旧的(如果存在)
sudo tar -zxf /home/hadoop.master.tar.gz -C /usr/local
sudo chown -R wyc /usr/local/hadoop
8.4 Hadoop初始化
HDFS初始化只能在主节点上进行
cd /usr/local/hadoop
./bin/hdfs namenode -format
在初始化过程中,只要看到上面红框里面的信息,有个successfully formatted说明初始化成功。
8.5 Hadoop集群启动
在hadoopWyc节点上执行下面命令:
cd /usr/local/hadoop
./sbin/start-dfs.sh
./sbin/start-yarn.sh
./sbin/mr-jobhistory-daemon.sh start historyserver
#这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况
通过jps可以查看各个节点所启动的进程,如果按照本文的设置,正确启动的话,在hadoopWyc节点上会看到以下进程:
hadoopWyc2节点的进程:
hadoopWyc3节点的进程:
hadoop-3.1.0启动hadoop集群时还有可能会报如下错误:
root@hadoopWyc3:/usr/local/hadoop# ./sbin/start-dfs.sh
Starting namenodes on [hadoopWyc]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [hadoopWyc2]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
参考:解决 Hadoop 启动 ERROR: Attempting to operate on hdfs namenode as root 的方法 解决
至此,Hadoop的完全分布式部署已经完成。
Hadoop集群搭建(超级超级详细)相关推荐
- Hadoop集群搭建教程(详细)
需要的安装包: 1.jdk压缩包 2.hadoop压缩包 请前往百度云上上下载相关安装包(密码:8op1) 开始搭建hadoop集群 一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.0 ...
- Hadoop集群搭建(超详细)
Hadoop三大公司 apache hortonWorks Cloudera 星环科技(国内) Hadoop的模块组成 HDFS:一个高可靠.高吞吐量的分布式文件系统. MapReduce:一个分布式 ...
- hadoop集群搭建(超详细版)
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机,图形界面如下 ...
- 大数据Hadoop集群搭建
大数据Hadoop集群搭建 一.环境 服务器配置: CPU型号:Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz CPU核数:16 内存:64GB 操作系统 版本:CentO ...
- 好程序员大数据笔记之:Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
- linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤 实验介绍 下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令 集群安装 完成实验需要以下相关知识 解压命令 tar -zxvf XX.tar. ...
- Hadoop集群搭建(27)
2019独角兽企业重金招聘Python工程师标准>>> Hadoop集群搭建方式: 1.1 确定部署三个节点,分别是hadoop0,hadoop1,hadoop2. 其中had ...
- Hadoop 集群搭建
Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建 ...
- 大数据 -- Hadoop集群搭建
Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2. ...
最新文章
- Linux: debian/ubuntu下安装Neo4j
- 01.计算机体系结构概述.md
- 配置文件编辑和历史文件编辑代码
- 在线JSON转sarcastic工具
- oracle设置默认值为当前时间_把锁屏密码设置成当前时间,随时间永远变动!
- 写了一个对象集合排序的类
- Android 投屏集成记录
- 登录英雄联盟lol后无法显示界面出不来问题解决
- 十 ARM9(2440)的IIC——理论知识及程序实例
- 一个强化学习 Q-learning 算法的简明教程
- MATLAB2016笔记(五):进阶矩阵操作
- Q4营收首超10亿美元大关,推特如愿一雪前耻?
- win32k.sys 映射地址
- 简单认识Apache Lucene的使用
- bal插口_中国银行银企对接接口格式(企业接口).doc
- 转移C盘中Pycharm缓存文件
- BZOJ_3362_[Usaco2004 Feb]Navigation Nightmare 导航噩梦_并查集
- Web前端:HTML标签——Visual Studio Code
- 关于环信即时通信的使用小结
- 代码质量管理平台SonarQube安装使用Centos7 三 Maven处理提交至远程仓库
热门文章
- 谨以此文共勉仍在大学生活的你我
- 4月连锁药店行业O2O外卖单平台品牌及药品销量排行榜
- 怎么在一张A4纸上打印2张发票?
- [转]卡门的斗牛士之歌,歌词和歌曲背景
- 用Vue写一个简单好看的菜单组件(Vue实战系列)
- 一文教你如何写出高效的软件测试用例?
- html中关于文档路径 说法,HTML课后习题
- Training and operation of an integrated neuromorphic network basedon metal-oxidememristors RRAM+神经网
- 论文《A High Spatial Resolution Depth Sensing Method Based on Binocular Structured Light》学习
- android开发搜集