Hadoop学习笔记（4）hadoop集群模式安装

具体的过程参见伪分布模式的安装，集群模式的安装和伪分布模式的安装基本一样，只有细微的差别，写在下面：

修改masers和slavers文件：

在hadoop/conf文件夹中的配置文件中有两个文件masters和slavers两文件，分别记录物理机器的主节点和从节点。分别以文本格式把主节点和从节点的名字写入到这两个文件中。

向各个节点复制hadoop：

在一个节点中安装好hadoop并且配置好了hadoop/conf/…下的一些配置文件之后，就能把hadoop复制到各个节点了：

#scp -r /usr/local/hadoop hadoop2:/usr/local/

这样就把各个节点都安装好了hadoop了。

格式化hadoop的文件系统：

在copy完hadoop后，要在各个节点中分别格式化他们的hadoop文件系统。

启动hadoop：

在主节点中执行start-all.sh就能启动整个hadoop系统，然后能看到各个进程都启动，然后可以在各个节点中通过jsp命令查看他们各自运行的java进程。

注意：一定要事先关闭他们的防火墙，不然防火墙会组织9000或者9001等端口的使用，这样的话会阻止一些进程的启动，导致hadoop无法正常的运行。

在hadoop的安装或者运行过程中，出现问题之后一定要去看logs信息，看java抛出的异常，这样就能知道问题的源头。

转载于:https://www.cnblogs.com/stemon/p/4330527.html

Hadoop学习笔记（4）hadoop集群模式安装相关推荐

Hadoop学习笔记—13.分布式集群中节点的动态添加与下架
Hadoop学习笔记-13.分布式集群中节点的动态添加与下架开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如 ...
Redis 学习笔记八：集群模式
Redis 学习笔记八:集群模式作者:Grey 原文地址: 博客园:Redis 学习笔记八:集群模式 CSDN:Redis 学习笔记八:集群模式前面提到的Redis 学习笔记七:主从复制和哨兵只能 ...
[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）
红帽子RatHat6下hadoop集群模式安装(3个节点,master,slave1,slave2) 一.学习目标: 使用红帽子RatHat6在虚拟机上搭建hadoop集群,包含3个节点,体验集群分布 ...
ZooKeeper学习笔记(八):ZooKeeper集群写数据原理
写数据原理写流程直接请求发送给Leader节点这里假设集群中有三个zookeeper服务端 ACK (Acknowledge character)即是确认字符,在数据通信中,接收站发给发送站的一种 ...
Kafka单机、集群模式安装详解(二)
本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 接上篇 Kafka单机.集群模式安装详解(一) 6. ...
Kafka单机、集群模式安装详解(一)
本文环境如下: 操作系统:CentOS 6 32位 JDK版本:1.8.0_77 32位 Kafka版本:0.9.0.1(Scala 2.11) 1. 所需要的环境 Kafka需要以下运行环境: Ja ...
CentOS下Hive2.0.0集群模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 MySQL版本:5.6.30 1. 准备工作 1.1 ...
CentOS下ZooKeeper单机模式、集群模式安装
本文环境如下: 操作系统:CentOS 6 32位 ZooKeeper版本:3.4.8 0. 环境需求 Zookeeper需要JDK1.6以上版本的Java环境可以参考: CentOS 6使用rpm ...
hadoop学习5 搭建storm集群
参阅: http://www.cnblogs.com/freeweb/p/5179410.html 非常感谢注意集群的启动顺序以及概念. [root@master bin]# ./storm ui ...
hadoop单机及完全分布式集群的安装
1. hadoop 我Hadoop的安装目录为/usr/local/workspace/hadoop 2.hdfs 2.1 单机模式单机模式即不使用分布式模式,无需启动namenode和datano ...

Hadoop学习笔记（4）hadoop集群模式安装

Hadoop学习笔记（4）hadoop集群模式安装相关推荐

最新文章

热门文章