CentOS hadoop 分布式集群的搭建

从伪分布式到分布式，只差两个配置文件（slaves、masters）的事；

定集群中的全部节点，彼此之间已实现免密码登录（共An−1nA_n^{n-1}对关系），节点都配置好hadoop（每个节点上的伪分布式已搭建完毕，伪分布式的搭建参见 CentOS hadoop 伪分布式安装步骤）和jdk，以及环境变量的设置。环境设置完毕之后，此时我们开始集群的搭建与部署。

（1）主从节点的确定，也即分布式集群结构的确定（落实到真正的操作，其实只是主节点的配置文件/conf/…）
（2）修改主节点中 hadoop 的配置文件，也即/conf/slaves文件（设置从节点），如果我们想将 secondarynamenode设置到其他节点，则通过/conf/masters设置（将你要设置为secondarynamenode的主机的主机名添加进masters文件）。
（3）此时分布式结构即已搭建完毕，便可进行格式化（初始化），然后启动

hadoop namenode -format
start-all.sh# 这就是环境变量设置的好处# 执行start-all.sh的脚本，# 并不需要我们每次都跳转到`/hadoop/bin/`下，才可执行`start-all.sh`

根据输出信息，我们可获知hadoop集群的启动顺序：

（1）在主节点（如hadoop0）上启动，namenode，并向/usr/local/hadoop0/logs/中填写相关日志信息；

最终hadoop会在其根目录下创建logs文件夹（如果没有的话），新建并将启动信息（成功失败与否）填写进如下的配置文件：

hadoop-root-jobtracker-hadoop0.log
hadoop-root-jobtracker-hadoop0.out
hadoop-root-namenode-hadoop0.out
hadoop-root-namenode-hadoop0.log
hadoop-root-secondarynamenode-hadoop0.log
hadoop-root-secondarynamenode-hadoop0.out
（2）在各从节点（如hadoop1、hadoop2）分别先后启动各自的datanode，

自然从节点下的日志信息关于两方面（datanode、TaskTracker）：

hadoop-root-datanode-hadoop1.log
hadoop-root-datanode-hadoop1.out
hadoop-root-tasktracker-hadoop1.log
hadoop-root-tasktracker-hadoop1.out
（3）在主节点上启动 secondarynamenode，JobTracker
（4）在各从节点分别先后启动各自的 TaskTracker

使用 stop-all.sh 关闭的顺序主要为：

stopping jobtracker（hadoop0，主节点）
hadoop1: stopping tasktracker
hadoop2: stopping tasktracker
stopping namenode（hadoop0，主节点）
hadoop2: stopping datanode
hadoop1: stopping datanode
localhost: stopping secondarynamenode（hadoop0，主节点）

CentOS hadoop 分布式集群的搭建相关推荐

一、史上最强hadoop分布式集群的搭建
史上最强hadoop分布式集群的搭建 @Author:by Runsen @data:2020-02-23 原创文章,禁止转载人生最重要的不是所站的位置,而是内心所朝的方向.只要我在每篇博文中写得自 ...
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题
王家林的"云计算分布式大数据Hadoop实战高手之路---从零开始"的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题参考文章: (1)王家林的&quo ...
Hadoop分布式集群的搭建
1.概念 1.1大数据大数据主要解决海量数据的采集.存储和分析计算的问题. 主要具有以下特点: 数据量大Volume:数据量在TB.PB.EB.ZB.YB.BB.NB.DB之上的数量级,一些大型企业 ...
Hadoop分布式集群搭建完全详细教程
Hadoop分布式集群环境搭建步骤如下实验环境: 系统:win7 内存:8G(因要开虚拟机,内存建议不低于8G) 硬盘:建议固态虚拟机:VMware 12 Linux:Centos 7 jdk1. ...
Hadoop分布式集群搭建完全教程
Hadoop分布式集群环境搭建步骤如下实验环境: 系统:win7 内存:8G(因要开虚拟机,内存建议不低于8G) 硬盘:建议固态虚拟机:VMware 12 Linux:Centos 7 jdk1. ...
搭建hadoop分布式集群
搭建hadoop分布式集群 ~ jdk安装 ip修改 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 BOOTPROTO=none H ...
搭建Hadoop分布式集群的详细教程
目录写在前面一.创建虚拟机,安装Centos 二.VMware VMnet8模式共享主机网络配置三.克隆集群节点HadoopSlave1与HadoopSlave2 四.Linux系统配置五.H ...
hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...
【转】Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
https://www.cnblogs.com/caiyisen/p/7373512.html 前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很 ...

CentOS hadoop 分布式集群的搭建

CentOS hadoop 分布式集群的搭建相关推荐

最新文章

热门文章