一、环境准备

1）jdk（hadoop是由java语言编写的）
2）防火墙关闭（iptables,selinux）
3）设置主机名，以及ip映射
4）设置时钟同步
5）设置免密登录
6）windows配置ip映射
说明：具体操作参照上两篇博客（集群环境搭建和zookeeper搭建）

二、搭建hadoop集群

1、解压hadoop的cdh预编译版本的安装包到esport/server

2、进行hdfs和yarn中的节点规划，具体哪些节点部署到哪台机器上

3.修改三类配置文件(/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/路径在这里插入代码片下)

a) 第一类配置文件——shell脚本(保证hadoop可以加载到jdk)

vim  hadoop-env.sh

b) 第二类配置文件——主角色
配置了4个xml文件（分别描述了4个模块）

core-site.xml 是common模块

vim core-site.xml

hdfs-site.xml 是hdfs模块

指定hdfs副本的数量，默认是3，我们修改为2（包括源文件，总共是2）指定secondaryManager的部署位置以及端口号

vim hdfs-site.xml

指定mr运行时的框架执行在yarn中运行

先修改配置文件的名字将mapred-site.template.xml修改为mapred-site.xml

mv  mapred-site.template.xml mapred-site.xml

在该配置文件中配置

yarn-site.xml

vim yarn-site.xml

指定yarn的主角色的地址，以及nodemanager上运行的附属服务

c第三类配置文件——从角色

vim slaves

作用：配合一键启动脚本到slaves指定的机器上启动hdfs和yarn集群的从角色
-通过 dfs.hosts 指定的slaves文件中的机器才可以加入hadoop集群白名单

上述操作完成主节点的配置，然后scp复制到其他机器上

cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ node-2:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node-3:$PWD

4、添加hadoop环境变量

vim /etc/profile

5.启动前的初始化

说明：首次启动集群时，需要针对HDFS进行初始化操作，因为有一些文件目录不存在，该操作只需要进行一次，通常在namenode所在节点进行
该初始化操作（format）主要创建了hadoop运行时依赖的一些文件夹和文件
注意：不能多次初始化，如果多次，主角色的角色将互不识别，之前的元数据丢失（因为每一次初始化会自动生成一个新的version，会有新的集群标识clusterID）

hadoop namenode -format

6、集群启动
启动hdfs集群

start-dfs.sh

启动yarn集群

start-yran.sh

启动成功之后就可以访问hadoop提供的对应的web-ui页面
hdfs启动成功之后访问http://node02:50070（node02是namenode所在节点的名字或者ip）
yarn启动成功之后访问http://node02:8088 (node02是resourcemanager所在节点的名字)

linux系统——hadoop环境搭建相关推荐

LINUX 系统LNMP环境搭建
企业级架构之LNMP 一.LNMP环境准备 1.操作系统 CentOS7(CentOS7.6全英文,最小化安装) 2.部署规划编号主机名称 IP地址(公网IP) 角色 1 web01.itcast ...
golang语言的入门基础，及window和linux系统上环境的搭配及运行
golang语言的入门基础,及window和linux系统上环境的搭配及运行简介: Go语言是谷歌推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性.Go语言专门针对多处理器 ...
Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建
Hadoop+hive+flask+echarts大数据可视化项目(二) --------------系统数据整合和hadoop环境搭建---------------- 关注Hadoop+Hive+F ...
从 Linux 安装到 Hadoop 环境搭建全过程
Hadoop 环境搭建从 Linux 的最小化安装到 Hadoop 环境的搭建,尽可能详尽介绍每个步骤. 文章目录 Hadoop 环境搭建环境准备安装 CentOS 7 配置 yum 源安装 ...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳原文: 史上最详细的Hadoop环境搭建关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建（含安装包和教程）
hadoop环境搭建视频:https://www.cniao5.com/course/lessons/10244 1.1Hadoop简介 1.1.1Hadoop的诞生 Hadoop是由Apache L ...
Hadoop环境搭建之zookeeper安装
Hadoop环境搭建一.预备知识 1.大数据导论 1.1 大数据概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决 ...
Hadoop环境搭建及常见问题解决（保姆级教程）
Hadoop环境搭建及常见问题解决零.资源准备一.环境准备 1. 安装虚拟机 2. 环境准备 1) 创建新用户xiaobai 2) 安装ssh-server 3) 上传相关资源 [4)] 使用pu ...
hadoop环境搭建（一）：环境准备
hadoop环境搭建(一):环境准备近期,学校开始了大数据课程,我带着学生从零到有一步一步架设大数据集群,现将具体步骤记录,以便更多初涉大数据的小白们有个参考,欢迎评论区留言讨论. 很少写博客,所以 ...
Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录安装三台 CentOS 7系统一.X-Shell的准备工作二.基本工具安装三.关闭防火墙四.修改Host文件五.3.4.4 ...

linux系统——hadoop环境搭建

一、环境准备

二、搭建hadoop集群

linux系统——hadoop环境搭建相关推荐

最新文章

热门文章