伪分布式集群搭建（hadoop）

1.安装VMware Tools

创建文件，实现挂载

创建文件夹software装软件的安装包、module装解压后的安装包
将VMwareTools的安装包移动到software文件中进行解压

解压后运行./vmware-install.pl

看到如下语句说明安装成功

2.卸载自带的jdk

3.安装linux下的jdk

连接shell运用xftp传输jdk安装包、hadoop安装包
解压jdk安装包

配置jdk系统环境变量
运行source /etc/profile使配置文件生效

#java
export JAVA_HOME=/opt/module/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin

出现下图说明配置成功

4.修改主机名、/etc/hosts

bash后主机名才会修改生效

5.关闭防火墙、永久关闭防火墙

6.ssh免密登录

ssh-keygen -t rsa
ssh-copy-id root@主机名

7.安装hadoop、配置hadoop系统环境变量

解压hadoop安装包

到/etc/profile下修改hadoop的系统环境变量

#hadoop
export HADOOP_HOME=/opt/module/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

出现下图说明hadoop安装成功

8.配置hadoop配置文件 etc/hadoop/hadoop-env.sh

9.配置hadoop核心配置文件 etc/hadoop/core-site.xml

10.配置hadoop配置文件 etc/hadoop/hdfs-site.xml

11.mapreduce配置文件 etc/hadoop/mapred-site.xml

12.yarn配置文件 etc/hadoop/yarn-site.xml

13.从节点配置文件 etc/hadoop/slaves

14.格式化HDFS系统

格式化命令：hadoop namenode -format

出现Exiting with status 0 说明格式化成功

15.启动HDFS

启动网页：http://root:50070/
启动成功则HDFS部署成功

16.启动YARN

启动：http://root:8088/
启动成功则YARN部署成功

17.设置静态ip（补）

命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33

运行：service network restart 进行网卡重启
运行ifconfig后查看ip地址，若ip地址变成自己设置的ip地址即成功，反之则失败

伪分布式集群搭建（hadoop）相关推荐

HADOOP 伪分布式集群搭建
一 linux 环境的搭建由于笔者这里使用的是vmware 虚拟机采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
zookeeper伪分布式集群搭建
zookeeper集群搭建注意点: 配置数据文件myid1/2/3对应server.1/2/3 通过zkCli.sh -server [ip]:[port]检测集群是否配置成功. 第一步:首先我们将我 ...
Hadoop单机/伪分布式集群搭建（新手向）
此文已由作者朱笑笑授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意 ...
【ManggoDB】安装配置（伪分布式集群搭建）Replia Set
文章目录 ManggoDB 参考资料安装配置配置 MongoDB 复制集(Replica Set)搭建搭建伪节点集群测试注意配置Debezium的connect 连接器创建数据库配置文 ...
Hadoop框架：单服务下伪分布式集群搭建
本文源码:GitHub·点这里 || GitEE·点这里一.基础环境 1.环境版本环境:centos7 hadoop版本:2.7.2 jdk版本:1.8 2.Hadoop目录结构 bin目录:存放 ...
HFDS伪分布式集群搭建
HFDS伪分布式,顾名思义就是不是真正的分布式,它是搭建在一台其上的HDFS,以下是搭建HFDS伪分布式的操作和一些相关问题设置免密登录先生成公钥和密钥 [root@localhost .ssh] ...
HDFS伪分布式集群搭建
一.操作系统环境配置 1. 安装jdk rpm文件默认安装目录是 /usr 复制jdk路径配置环境变量配置环境变量的目录环境配置代码刷新配置信息使用jps检测是否配置成功(使用之前一定要先执行 ...
Hadoop-HDFS的伪分布式和完全分布式集群搭建
转自: https://blog.csdn.net/mhw666/article/details/91610598 CentOS 7 下使用yum安装MySQL5.7.20,并设置开启启动: ht ...
基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1 借鉴网址2 hadoop官方配置教程搭建虚拟机,克隆(或者先配置JAVA和Hadoop环境再克隆,之后要改主机名和映射以及SSH免密) 可以利用xsync集群分发脚本一台机器配置其他机器 ...

伪分布式集群搭建（hadoop）

伪分布式集群搭建（hadoop）相关推荐

最新文章

热门文章