前言

Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很低;

下面介绍Hadoop在linux的环境搭建;

一、Hadoop的三种运行环境

Hadoop运行环境有三种模式：本地模式，伪分布模式，完全分布式模式

本地模式（Standalone Mode）

默认情况下，Hadoop即处于该模式，用于开发和调式。【不推荐使用】

不对配置文件进行修改。
使用本地文件系统，而不是分布式文件系统.
Hadoop不会启动NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。
用于对MapReduce程序的逻辑进行调试，确保程序的正确。

伪分布模式（Pseudo-Distributed Mode）

Hadoop的守护进程运行在本机机器，模拟一个小规模的集群。【电脑配置不高的可以使用】

在一台主机模拟一个小规模的集群，在这种模式下Hadoop使用的是分布式文件系统，一般用于程序调试与测试.也可以说伪分布式是完全分布式的一个特例。
在这种模式下，Hadoop使用的是分布式文件系统。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及守护进程交互。Hadoop启动NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager，这些守护进程都在同一台机器上运行，是相互独立的Java进程。
需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
格式化文件系统

完全分布式模式（Cluster Mode） <本次搭建的环境>

Hadoop的运行在由多台主机搭建的集群上，是真正的生产环境。【电脑内存8G及以上就可以配置】

在这种模式下，Hadoop在所有的主机上安装JDK、Hadoop、Zookeeper等软件，组成相互连通的网络。
主机间设置SSH免密码登录，把各从节点生成的公钥添加到主节点的信任列表中。
需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh。格式化文件系统
启动Hadoop后的进程：NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode

二、集群规划

三.需要的基本软件安装

VMware 安装
由于版权原因各位自行下载;VM16即可
Linux 系统安装
用的是CentOs7,
可以参考https://blog.csdn.net/weixin_45556441/article/details/114382989
资源下载 https://download.csdn.net/download/weixin_45556441/15676799
远程连接工具安装
直接安装Xshell绿色版即可。
安装地址 https://download.csdn.net/download/weixin_45556441/15676579

下期见

Hadoop环境搭建教学(二)完全分布式集群搭建；

Hadoop环境搭建教学(一)运行环境,集群规划介绍；相关推荐

Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录安装三台 CentOS 7系统一.X-Shell的准备工作二.基本工具安装三.关闭防火墙四.修改Host文件五.3.4.4 ...
如何搭建html运行环境,搭建真实的运行环境2019.4.22
1.搭建真实运行环境步骤 ①先下载phpstudy软件 ②按照安装步骤进行phpstudy安装,安装后启动服务,点击<其它选项菜单>里面的<My HomePage>选项,正常显 ...
服务器环境搭建——安装Java运行环境
环境操作系统:64位的Centos7.6 JDK:1.8 步骤下载安装包去官网下载相应的压缩包将安装包通过ftp传到服务器上,我将压缩包放在了/usr/local中解压 tar -xvf j ...
window环境搭建go语言运行环境
研究区块链,一直在纠结是研究比原链还是研究比特币链, 现在准备研究比原链,因为 ①比原链也是基于比特币开发的, ②我也在比原社区群里,有问题的话可以向比原技术老师请教 ③我是从事交易所工作的,最近对接 ...
搭建Kubernetes（k8s）集群（cka考试环境）
搭建Kubernetes(k8s)集群基础介绍 containerd简介 Docker vs containerd K8S为什么要放弃使用Docker作为容器运行时,而使用containerd呢? ...
搭建大数据运行环境之二
前言上篇文章咱们将大数据相关的一些组件都集成安装在了一个docker中搭建大数据运行环境之一这篇文章咱们继续启动下该docker中的大数据相关的组件将大数据运行环境跑起来上篇文章的几个注意 ...
ubuntu平台下搭建PHPWind网站运行环境
ubuntu平台下搭建PHPWind网站运行环境前提: 要打开root权限 sudo password [这里填写root密码] 在Linux平台安装PhpWind的是比较麻烦的事,相对来说在Ubu ...
使Docker搭建Java Web运行环境
Docker 是 2014 年最为火爆的技术之一,几乎所有的程序员都听说过它.Docker 是一种"轻量级"容器技术,它几乎动摇了传统虚拟化技术的地位,现在国内外已经有越来越多的公 ...
ubuntu上搭建php,ubuntu10.04上搭建php网站运行环境
ubuntu 10.04下搭建php网站运行环境 ubuntu 10.04下搭建php网站运行环境前提: 要打开root权限 sudo password [这里填写root密码] 1.第一步安装ub ...

Hadoop环境搭建教学(一)运行环境,集群规划介绍；

文章目录

前言

一、Hadoop的三种运行环境

二、集群规划

三.需要的基本软件安装

下期见

Hadoop环境搭建教学(一)运行环境,集群规划介绍；相关推荐

最新文章

热门文章