史上最简单详细的Hadoop完全分布式集群搭建
一.安装虚拟机环境
Vmware12中文官方版 链接:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码:6rep
激活秘钥:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A
这个安装就十分的简单了,只需要不断点击下一步,直到安装完成就OK了;
二.虚拟机的安装(Centos7)
这个步骤我分享一个详细安装地址:https://www.cnblogs.com/tony-hyn/p/9677902.html
三.搭建集群
(1)配置服务器(我这里是以3台为例)
1个主节点:Mage1(192.168.102.135),2个(从)子节点,Mage2(192.168.102.136),Mage3(192.168.102.137)
(2)配置主节点名(192.168.102.135)
在命令行输入: vi /etc/sysconfig/network
添加内容:
NETWORKING=yes
HOSTNAME=Mage1
配置两台子节点名(192.168.102.136)和(192.168.102.137):
vi /etc/sysconfig/network
添加内容:
NETWORKING=yes
HOSTNAME=Mage2
vi /etc/sysconfig/network
添加内容:
NETWORKING=yes
HOSTNAME=Mage3
(3)配置hosts
打开主节点的hosts文件,将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机息。
在命令行输入: vi /etc/hosts
添加3台服务器的节点名信息
192.168.102.135 Mage1
192.168.102.136 Mage2
192.168.102.137 Mage3
保存之后,将主节点的hosts分别拷贝到其他两个子节点
命令行分别输入:
scp /etc/hosts root@192.168.102.136:/etc/
scp /etc/hosts root@192.168.102.137:/etc/
然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostname hostsname
例如:master上执行 /bin/hostsname master,使之生效。
(4)关闭防火墙
1.查看防火墙状态
firewall-cmd --state
2.停止firewall
systemctl stop firewalld.service
3.禁止firewall开机启动
systemctl disable firewalld.service
(5)时间同步
命令行输入:yum install ntp 下载ntp插件 ,
下载完成后 命令行输入:ntpdate -u ntp1.aliyun.com
然后命令行输入:date
如果出现如下情况表示配置成功:
(6)配置ssh无密码访问
生成公钥密钥对
在每个节点上分别执行:
命令行输入:ssh-keygen -t rsa
一直按回车直到生成结束
执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub
其中前者为私钥,后者为公钥
在主节点上执行:
命令行输入:cp id_rsa.pub authorized_keys
将子节点的公钥拷贝到主节点并添加进authorized_keys
将两个子节点的公钥拷贝到主节点上
分别在两个子节点上执行:
scp /root/.ssh/id_rsa.pub root@Mage1:/root/.ssh/id_rsa_Mage2.pub
scp /root/.ssh/id_rsa.pub root@Mage1:/root/.ssh/id_rsa_Mage3.pub
然后在主节点上,将拷贝过来的两个公钥合并到authorized_keys文件中去
主节点上执行:
cat id_rsa_Mage2.pub>> authorized_keys
cat id_rsa_Mage3.pub>> authorized_keys
将主节点的authorized_keys文件分别替换子节点的authorized_keys文件
主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置
scp authorized_keys rootMage2:/root/.ssh/
scp authorized_keys rootMage3:/root/.ssh/
最后测试是否配置成功
在Mage1上分别执行
ssh Mage2
ssh Mage3
能正确跳转到两台子节点的操作界面即可,同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。
这里的配置方式可以有多种操作步骤,最终目的是每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容。
(7)安装jdk(三台机器都要安装)
安装在同一位置**/usl/local/jdk1.8.0_191**
下载JDK : https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
这里推荐一个Windows系统与虚拟机可以相互传输文件的软件FileZilla,下载解压即可用:
链接:https://pan.baidu.com/s/193E3bfbHVpn5lsODg2ijJQ 提取码:kwiw
解压JDK : tar -zxvf /usr/local/jdk-8u73-linux-x64.gz
配置环境变量, 编辑profile文件:
vi /etc/profile
在profile文件末尾添加以下代码:
export JAVA_HOME=/usr/local/jdk1.8.0_191
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
保存后,使刚才编辑的文件生效:source /etc/profile
测试是否安装成功:java -version
如下表示jdk环境配置成功:
(8)安装hadoop
安装位置自定,例如安装在/usr/local目录下面
下载hadoop包:
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
放在/usr/local目录下,解压hadoop
tar -zxvf hadoop-2.7.7.tar.gz
在usr下面生成hadoop-2.7.7目录
配置环境变量:
vi /etc/profile
在末尾添加:
export HADOOP_HOME=/usr/local/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存后使新编辑的profile生效:
source /etc/profile
(9)配置hadoop
配置hadoop配置文件
需要配置的文件的位置为/usr/local/hadoop-2.7.7/etc/hadoop,需要修改的有以下几个文件:
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves
其中hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量
hadoop-env.sh中
添加如下代码:export JAVA_HOME=/usr/local/jdk1.8.0_191
到如下位置:
yarn-env.sh中
添加如下代码:export JAVA_HOME=/usr/local/jdk1.8.0_191
到如下位置:
core-site.xml中
添加如下代码:
<configuration><property><name>fs.defaultFS</name><value>hdfs://Mage1:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/temp</value></property><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>
</configuration>
注:上面代码中file后的路径下的temp文件夹需要自己创建
hdfs-site.xml中
添加如下代码:
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>Mage1:9001</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/dfs/data</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions</name><value>false</value></property><property><name>dfs.web.ugi</name><value>supergroup</value></property>
</configuration>
注:上面代码中file后的路径下的/dfs/data文件夹需要自己创建
mapred-site.xml中
(注意要将mapred-site.xml.template重命名为 .xml的文件 Mv mapred-site.xml.template mapred-site.xml)
添加如下代码:
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Mage1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Mage1:19888</value></property>
</configuration>
yarn-site.xml中
添加如下代码:
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>Mage1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Mage1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>Mage1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Mage1:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Mage1:8088</value></property>
</configuration>
slaves中
修改成:
Mage1
Mage2
拷贝hadoop安装文件到子节点
主节点上执行:
scp -r /usr/hadoop-2.6.4 root@Mage2:/usr
scp -r /usr/hadoop-2.6.4 root@Mage3:/usr
拷贝profile到子节点
主节点上执行:
scp /etc/profile root@Mage2:/etc/
scp /etc/profile root@Mage3:/etc/
在两个子节点上分别使新的profile生效:
source /etc/profile
格式化主节点的namenode
主节点上进入hadoop目录
然后执行:
./bin/hadoop namenode -format
新版本用下面的语句不用hadoop命令了
./bin/hdfs namenode -format
提示:successfully formatted表示格式化成功
启动hadoop
主节点上在hadoop目录下执行:
./sbin/start-all.sh
主节点上jps进程如下:
NameNode
SecondaryNameNode
ResourceManager
每个子节点上的jps进程如下:
DataNode
NodeManager
如果这样表示hadoop集群配置成功
史上最简单详细的Hadoop完全分布式集群搭建相关推荐
- Hadoop完全分布式集群搭建详细图文教程
本文所使用的环境及版本: CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一.安装模板机 1.安装CentOS 7.9并配 ...
- 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建 一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络 为虚拟机普通用户配置 ...
- HADOOP 伪分布式集群搭建
一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
- 基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1 借鉴网址2 hadoop官方配置教程 搭建虚拟机,克隆(或者先配置JAVA和Hadoop环境再克隆,之后要改主机名和映射以及SSH免密) 可以利用xsync集群分发脚本一台机器配置其他机器 ...
- Hadoop完全分布式集群搭建
hadoop本地模式搭建 首先准备一台Linux环境的服务器关闭防火墙 # 查看防火墙状态 systemctl status firewalld # 停止防火墙 systemctl stop fire ...
- [大数据技术与应用省赛学习记录二]——模块一(HADOOP完全分布式集群搭建)
**在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...
- Hadoop全分布式集群搭建(全网最详细,保姆级教程)
在上一篇Hadoop环境搭建(全网最详细,保姆级教程)中已经搭建好了一个单机Hadoop环境,接下来搭建全分布式Hadoop集群 首先对Hadoop全分布示集群进行简单介绍和规划 一个集群由一个主机, ...
- Ubuntu18.04+Docker+Hadoop+Spark分布式集群搭建
题前记:因为课程需求,下面将搭建过程用学术论文的格式写.(其实我并不想写的,没办法,学习作业嘛QAQ...) 我的联系方式:630056108 文章目录 Docker上的Hadoop大数据平台搭建与测 ...
- 一文快速学会hadoop完全分布式集群搭建,很详细
文章目录 前言 一.准备工作 二.克隆三台虚拟机并进行网络配置 克隆 虚拟机克隆引导 修改网络配置 验证 验证方式一 验证方式二 三.安装jdk和hadoop 四.ssh免密登录配置 概述 生成公钥和 ...
最新文章
- 制作Windows Mobile程序安装包
- Java Enumeration接口
- numpy使用diagonal函数和sum函数计算矩阵的迹(trace)、使用T函数对矩阵进行转置(transpose matrix)
- ORACLE 几个我忍了他很多年的问题
- JavaScript之js的一些基础方法
- centos修改oracle字符集
- KDEWin Installer 0.9.8-1发布
- Mach-O 的动态链接(Lazy Bind 机制)
- POJ 2653 Pick-up sticks (线段相交)
- 最快60秒完成新冠病毒核酸对比 阿里云向社会免费开放基因计算服务
- 杭电1203I NEED A OFFER!
- 2014计算机一级选择题,计算机一级选择题题库2014含答案
- Android 插件化 动态升级
- 软件项目管理 hw1
- modbus调试工具
- Android 系统源码以及结构
- 物联网PaaS平台大盘点
- c语言中圆的周长公式,圆的周长公式
- Halcon深度学习目标检测例程学习经验(1)
- 推荐几个Sublime插件
热门文章
- 谷歌浏览器已屏蔽相应权限以保护您的隐私
- JFC青少年国际足球锦标赛
- 2023美国大学生数学建模竞赛E题光污染完整数据集和求解代码分享
- 元宇宙vs. 数字孪生:技术演化的视角
- js实现select功能
- 《JavaScript设计模式》读后感 觉很复杂
- java list namevaluepair_HashMap String,String和List NameValuePair之间的区别
- (xy) + ( (x^y)>>1 )
- mysql base64 加密解密_Base64 加密 解密
- 个人Javaweb项目介绍