Hadoop集群搭建(一)—— Liunx网络、主机名配置,多台虚拟机的相互连通和远程登陆

Hadoop集群搭建(二)—— Linux系统SSH远程双向免密登陆

Hadoop集群搭建(三)—— JDK和Hadoop的安装和环境配置

首先确保虚拟机都完成了网卡、主机名、hosts文件等配置

确保安装了jdk和hadoop并且配置了环境变量,最好都是同样的路径

确保虚拟机之间都能互相ping通以及两两之间能够ssh免密登陆

我这里创建了三台虚拟机,配置信息如下

ip地址 主机名 节点
192.168.3.9 hadoop01 主节点
192.168.3.10 hadoop02 子节点
192.168.3.11 hadoop03 子节点

配置开始

下面的操作都在主节点操作(配置完可以通过scp拷贝给子节点,省时间)

接下来我们就开始最后的hadoop配置,打开hadoop安装目录

然后进入 etc/hadoop目录下,这里面就是hadoop的配置文件了

 (1)修改 hadoop-env.sh 文件

找到下图位置,将注释去掉,路径改成自己的jdk安装路径

 (2)修改 yarn-env.sh 文件

找到如图位置,去掉注释,将路径改成自己的jdk安装路径

 (3)修改 core-site.xml 文件

在配置文件中添加如下信息

<!-- hadoop的核心配置文件 -->
<configuration><property><!-- 指定namenode(主节点)在hadoop01虚拟机上 --><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><!-- 块大小 --><name>io.file.buffer.size</name><value>131072</value></property><property><!-- hadoop的临时目录 --><name>hadoop.tmp.dir</name><value>file:/usr/hadoop/tmp</value></property>
</configuration>

(4)修改 hdfs-site.xml 文件

在配置文件中添加如下信息

<!-- 配置datanode(子节点)进程 -->
<configuration><property><name>dfs.namenode.name.dir</name><value>file:/usr/hadoop/dfs/name</value></property><property><name>dfs.namenode.data.dir</name><value>file:/usr/hadoop/dfs/data</value></property><property><!-- 指定HDFS副本的数量(一般几个子节点就设置为几个) --><name>dfs.replication</name><value>2</value></property>
</configuration>

(5)修改 mapred-site.xml 文件

该文件时默认不存在的,需要指令 cp mapred-site.xml.template mapred-site.xm 复制一份出来

然后添加如下信息(hadoop01是主节点的主机名)

<!-- MapReduce的核心配置文件,指定MapReduce的运行框架为YARN -->
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property>
</configuration>

(6)修改 yarn-site.xml 文件

hadoop01是主节点的主机名

<configuration>
<!-- 指定YARN集群的管理者(ResourceManager)的地址 -->
<!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.address</name><value>hadoop01:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop01:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop01:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop01:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop01:8088</value></property><property><!-- NodeManager的附属服务 --><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

(7)修改 masters 文件

这个文件没有的,需要创建编写,指令 vi masters

写主节点的IP地址或者主机名都可以

(8)修改 slaves 文件

这里写子节点的配置信息,IP地址或者主机名都可以,最好跟(7)一致

 (9)拷贝给子节点

将配置好的配置文件的文件夹发给其他节点

[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/
[root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/

(10)创建目录(主节点操作)

[root@hadoop01 hadoop]# mkdir /usr/hadoop/tmp -p
[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/name -p
[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/data -p

(11)赋予权限

//添加用户组
[root@hadoop01 hadoop]# groupadd hadoop
[root@hadoop01 hadoop]# useradd -g hadoop hadoop -s /bin/false//赋予权限
[root@hadoop01 hadoop]# chown -R hadoop:hadoop /usr/hadoop/

(12)将/usr/hadoop拷贝给子节点

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop02:/usr/
[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop03:/usr/

(13)配置变量(全部子节点,主节点不用)

修改/etc/profile配置文件,在文件尾部添加如下信息,指令 vi  /etc/profile

#set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

添加完之后,输入指令使配置文件生效(全部都要)

[root@hadoop01 hadoop]# source /etc/profile

(14)权限

全部子节点按 (11) 操作赋予权限

(15)格式化(主节点上)

[root@hadoop01 hadoop]# hadoop namenode -format

出现 successfully 就说明成功了,否则的会提示报错

 (16)启动集群(主节点上)

start-all.sh是一键启动的指令(必须要求互相之间能够免密登陆)

[root@hadoop01 hadoop]# start-all.sh

(17)查看节点状态

可以输入 jps 查看虚拟机的状态(只能看自己的)

输入 hdfs dfsadmin -report 可以查看所有节点的信息

同时我们还可以在windows浏览器上查看界面

首先在主节点上关闭防火墙

[root@hadoop01 hadoop]# systemctl stop firewalld.service

然后修改windows的hosts的文件(C:\Windows\System32\drivers\etc),在顶部加入如下信息

192.168.3.9 Hadoop01
192.168.3.10 hadoop02
192.168.3.11 hadoop03

最后打开浏览器输入地址 hadoop01:50070 (HDFS文件系统)

输入地址 hadoop01:8088 (YARN服务)

跟着上面的步骤肯定没有问题,如有问题报错,评论区说明即可,我会立马回复解决

Hadoop集群的搭建(结束)——修改hadoop配置文件以及启动集群服务相关推荐

  1. cassandra集群环境搭建——注意seeds节点,DHT p2p集群管理难道初始化都应如此吗?...

    解压cassandra的安装包后可以查看主要的配置文件,都在conf/目录下,conf/cassandra.yaml比较重要,其中需要着重注意的有以下一些配置项: cluster_name: 'TC0 ...

  2. 大数据技术之Hadoop概述集群环境搭建常见错误解决等

    Hadoop概述 文章目录 Hadoop概述 1. Hadoop是什么 2. Hadoop发展历史 4. Hadoop的优势 5. Hadoop组成 6. 大数据技术生态体系 7. 推荐系统框架图略图 ...

  3. 适合小白的 Hadoop 集群配置搭建,非常详细

    准备工作: 1.VMware Workstation 14 中安装虚拟机 ,版本为 CentOS7(我搭建的集群为三台,安装一台克隆两台,这里不做解释,可自行百度) 2.JDK1.8 ,下载地址为 h ...

  4. 大数据基础——Hadoop大数据平台搭建

    文章目录 前言 Hadoop大数据平台搭建 一.Hadoop原理和功能介绍 二.Hadoop安装部署 三.Hadoop常用操作 总结 前言 分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...

  5. 大数据第一天 Hadoop01-入门集群环境搭建

    Hadoop01-入门&集群环境搭建 今日内容 ​ Hadoop的介绍 ​ 集群环境搭建准备工作 ​ Linux命令和Shell脚本增强 ​ 集群环境搭建 大数据概述 ​ 大数据: 就是对海量 ...

  6. Hadoop大数据平台搭建课程笔记

    课程介绍 大数据基本介绍 4V特征 体量大:体量庞大 高速:数据产生速度快.存储速度快.处理速度快 多样化:数据的种类和来源多样化.结构化.非结构化.半结构化数据 价值:密度低.体量庞大,有价值的数据 ...

  7. 2W 字详解 Redis 6.0 集群环境搭建实践

    原文链接:https://www.cnblogs.com/hueyxu/p/13884800.html 本文是Redis集群学习的实践总结(基于Redis 6.0+),详细介绍逐步搭建Redis集群环 ...

  8. 从入门到入土(九)手摸手教你搭建RocketMQ双主双从同步集群,不信学不会!...

    精彩推荐 一百期Java面试题汇总 SpringBoot内容聚合 IntelliJ IDEA内容聚合 Mybatis内容聚合 接上一篇:从入门到入土(八)RocketMQ的Consumer是如何做的负 ...

  9. K8s系列之:搭建高可用K8s v1.23.5集群详细步骤,3个master节点,3个Node节点

    K8s系列之:搭建高可用K8s v1.23.5集群详细步骤,3个master节点,3个Node节点 一.K8s集群节点划分 二.k8s集群环境准备 三.关闭swap 四.关闭ipv6 五.桥接IPv4 ...

  10. 2W 字详解 Redis 集群环境搭建实践

    点击上方 "终端研发部"关注, 星标或置顶一起成长 本文是Redis集群学习的实践总结(基于Redis 6.0+),详细介绍逐步搭建Redis集群环境的过程,并完成集群伸缩的实践. ...

最新文章

  1. 最基础的绑定服务步骤
  2. Spring Boot实战:过滤器、拦截器与切片
  3. 更改一字段的全部字节的大小写
  4. 针对与其他语言的数据交换Model ,添加了 构造函数
  5. asp.net core 腾讯验证码的接入
  6. ssl提高组周六备考赛【2018.10.20】
  7. Spring Security视频地址
  8. PhysioBank 存档数据目录
  9. 剑指 Offer 09. 用两个栈实现队列(day 03)
  10. 基于vue与element ui的vue-cron插件的使用及将定时任务cron表达式解析成中文
  11. cdr转换成html格式,如何将CDR高版本转换成低版本?CDRX7文件转换成X4教程
  12. 【设备管理】【OEE】30页精彩PPT:详解精益生产OEE
  13. 结构图(耦合、内聚)
  14. 卡内基梅隆大学计算机世界排名,卡内基梅隆大学世界排名多少?
  15. iOS7—Day by day—Day16:Decoding QR Codes With AVFoundation
  16. java数字金额大写金额_Java实现 “ 将数字金额转为大写中文金额 ”
  17. 腾讯云服务器SSH远程登录
  18. 92.最后的综合案例
  19. [ios学习入门3]--oc中NS的含义
  20. 盛世昊通强势规划资本运营板块,孵化企业纳斯达克上市之路

热门文章

  1. moodle 页面联动效果
  2. TeeChart安装教程
  3. notepad++官网下载(官网无法访问的解决办法)
  4. 如何从12306网站下载自己喜欢的手机铃声
  5. 2018通达信l2服务器源码,通达信强势龙头指标源码无未来,牛股连板涨停启动源码...
  6. 2021年总结:缘起性空,归来不少年——回顾这荆棘的一年
  7. sqlite和MySQL一些常用命令_sqlite3常用命令语法
  8. Mysql的用户与权限管理
  9. 一个优质软件测试工程师简历的范文(答应我一定要收藏起来)
  10. 程序员微信名昵称_微信营销手段之昵称命名