一.文章简介

着手搭建大数据平台时，配置虚拟机环境是成为新手的第一道门槛。虽然各种视频和网站上也有很多虚拟机安装配置教程，但由于对 Linux 环境不熟悉，同时加上网上不少教程都是五花八门的centos，ubuntu等各种不同版本的Linux系统导致具体步骤也不一样，导致小白折腾老几天愣是没装成功（下面我将详细的介绍虚拟机安装与环境配置）

文章目录

一.文章简介
二.资源准备
三.创建虚拟机教程
- 1.首先对主从节点进行ip等分配
- 2.创建虚拟机
- - （1）打开VMware Workstation ，点击左上角的文件，选择创建虚拟机
  - （2）选择自定义（高级），然后下一步
  - （3）一直下一步，直到安装客户机操作系统，此处选择稍后安装
  - （4）下一步，到选择客户机操作系统，选择Linux，版本是Red Hat Enterprise Linux 8 64位
  - （5）下一步，命名虚拟机，虚拟机名称建议采用master，位置自主选择，建议选择空闲容量具有100G以上的磁盘作为存储
  - （6）下一步，设置处理器，可按需求设置
  - （7）下一步，设置虚拟机内存，根据需求设置，最低1GB
  - (8）下一步，选择网络类型，选择NAT模式
  - （9）下一步，选择I/O控制器类型、选择磁盘类型都是默认选择**
  - （10）下一步，选择磁盘，此处选择创建新虚拟磁盘
  - （11）下一步，指定磁盘文件，默认
  - （12）下一步，选择自定义硬件，点击新CD/DVD(SATA),右边连接选择使用ISO映像文件，选择下载好的RockyLinux 9 iso文件
  - （13）点击下方添加，选择网络适配器，将新增的网络适配器选择仅主机模式。
  - （14）点击完成退出，此时虚拟机已创建，等待配置Linux系统
四.安装RockyLinux 9系统
- 1. 开启虚拟机，耐心等待挂载
- 2.选择安装过程语言，看个人需求选择
- 3.配置Languages Support
- 4.配置Software Selection，选择最小安装
- 5.配置Installation Destation，选择全选磁盘
- 6.配置Network & Host Name
- 7.配置root账号和密码（非常重要，密码一定要记住）
- 8.配置User Creation，建立大数据专用账号(一定要勾选选择为管理员，否则后续出现权限问题)
- 9.配置Time & Date
- 10.设置完成，点击 Begin Installation,耐心等待
- 11.安装完成后，重启虚拟机即可
五.基础信息配置
- 1.登录大数据专用账户spark
- 2.下载相应工具，方便配置
- - (1）安装vim工具
  - （2）安装 net-tools工具
- 3.配置主机名
- 4.配置hosts文件
- 5.克隆虚拟机
- - （1）关闭主节点虚拟机，在VMware上选择克隆
  - （2）下一步选择克隆自虚拟机中当前状态
  - （3）下一步，选择创建整克隆
  - （4）编辑新虚拟机名称和位置
  - （5）点击完成，克隆成功，用同样方法克隆剩下的两天从节点虚拟机
- 6. 修改三台从节点虚拟机配置
- - （1）修改主机名hostname，具体操作和master主节点一样
  - （2）修改网络配置
  - （3）修改后重启，其他从节点同样步骤修改
  - (4)使用ifconfig查看所有节点ip，看看是否配置正确
六.测试XShell7，Xftp7登录
- 1.打开XShell7，选择左上角文件，点击新建，弹出新建会话属性窗口
- 2.名称输入主机名，主机输入对应的IP
- 3.点击左侧用户身份验证，输入账号密码
- 4.其他从节点机器同样操作，测试是否成功连接
七.关闭防火墙
八.配置ssh免密登录
- 1.利用XShell同时操作所有虚拟机，生成密钥
- 2.将主节点的密钥通过hosts上设定的从节点配置，发送给各节点
- 3.测试免密登录
九.配置时间同步
- 1.主节点新增如下配置
- 2.重启chrony工具，并设置开机自启动，查看运行状态
- 3.查看同步状态
- 4.对三个从节点同样的文件进行如下修改
- 5.同样重启chrony工具，并设置开机自启动，查看运行状态，检测同步状态

二.资源准备

虚拟机软件: VMware Workstation
VMware官方下载地址
（注意：VMware需要许可证，建议百度）

客户机操作系统：Rocky Linux 9
RockyLinux官方下载地址

SSH连接工具：XShell7、Xftp7
XShell下载地址
Xftp下载地址
（注意：XShell和Xftp都是需要付费购买的）

三.创建虚拟机教程

1.首先对主从节点进行ip等分配

虚拟机名	IP
master	192.168.xxx.140
slaver1	192.168.xxx.141
slaver2	192.168.xxx.142
slaver3	192.168.xxx.143

2.创建虚拟机

（1）打开VMware Workstation ，点击左上角的文件，选择创建虚拟机

（2）选择自定义（高级），然后下一步

（3）一直下一步，直到安装客户机操作系统，此处选择稍后安装

（4）下一步，到选择客户机操作系统，选择Linux，版本是Red Hat Enterprise Linux 8 64位

（5）下一步，命名虚拟机，虚拟机名称建议采用master，位置自主选择，建议选择空闲容量具有100G以上的磁盘作为存储

（6）下一步，设置处理器，可按需求设置

（7）下一步，设置虚拟机内存，根据需求设置，最低1GB

(8）下一步，选择网络类型，选择NAT模式

（9）下一步，选择I/O控制器类型、选择磁盘类型都是默认选择**

（10）下一步，选择磁盘，此处选择创建新虚拟磁盘

（10）下一步，指定磁盘容量，此处根据需求设置

（11）下一步，指定磁盘文件，默认

（12）下一步，选择自定义硬件，点击新CD/DVD(SATA),右边连接选择使用ISO映像文件，选择下载好的RockyLinux 9 iso文件

（13）点击下方添加，选择网络适配器，将新增的网络适配器选择仅主机模式。

（14）点击完成退出，此时虚拟机已创建，等待配置Linux系统

四.安装RockyLinux 9系统

1. 开启虚拟机，耐心等待挂载

2.选择安装过程语言，看个人需求选择

3.配置Languages Support

此处建议配置中英两种语言，不建议纯中文，因为如果出现报错，中文呈现会是乱码形式。

4.配置Software Selection，选择最小安装

5.配置Installation Destation，选择全选磁盘

6.配置Network & Host Name

此处选择我们新增的网卡适配器，选中后，右下角点击configure进入网卡配置，点击IPv4 Settings

然后，将method选择为Manual，并且在Address处，新增网络，如下图所示

7.配置root账号和密码（非常重要，密码一定要记住）

8.配置User Creation，建立大数据专用账号(一定要勾选选择为管理员，否则后续出现权限问题)

9.配置Time & Date

10.设置完成，点击 Begin Installation,耐心等待

11.安装完成后，重启虚拟机即可

五.基础信息配置

1.登录大数据专用账户spark

（注意：在Linux下，密码是不显示的）

2.下载相应工具，方便配置

(1）安装vim工具

命令： sudo dnf install vim

需要输入账户密码，然后安装过程中输入两次 y

（2）安装 net-tools工具

命令： sudo dnf install net-tools

3.配置主机名

命令：sudo vim /etc/hostname
讲本主机名修改为，输入命令后直接写 master 上去,重启后就能看到生效

4.配置hosts文件

命令：sudo vim /etc/hosts
将开始分配好的主机名和对应IP写入如下

5.克隆虚拟机

（1）关闭主节点虚拟机，在VMware上选择克隆

（2）下一步选择克隆自虚拟机中当前状态

（3）下一步，选择创建整克隆

（4）编辑新虚拟机名称和位置

（5）点击完成，克隆成功，用同样方法克隆剩下的两天从节点虚拟机

6. 修改三台从节点虚拟机配置

（1）修改主机名hostname，具体操作和master主节点一样

（2）修改网络配置

说明：修改新增的网卡适配器中的ipv4地址，将其修改为对应的IP
(rockyLinux 9采用新的网络管理工具，要特别注意)
命令：
sudo vim /etc/NetworkManager/system-connections/ens192.nmconnections
具体如下：

（3）修改后重启，其他从节点同样步骤修改

(4)使用ifconfig查看所有节点ip，看看是否配置正确

六.测试XShell7，Xftp7登录

1.打开XShell7，选择左上角文件，点击新建，弹出新建会话属性窗口

2.名称输入主机名，主机输入对应的IP

3.点击左侧用户身份验证，输入账号密码

4.其他从节点机器同样操作，测试是否成功连接

七.关闭防火墙

非常重要，一定要关闭
命令：
sudo systemctl stop firewalld.service
sudo systemctl diable firewalld.service

八.配置ssh免密登录

1.利用XShell同时操作所有虚拟机，生成密钥

命令：ssh-kengen -t rsa
期间需要多次按enter键确认

2.将主节点的密钥通过hosts上设定的从节点配置，发送给各节点

命令：ssh-copy-id 从节点主机名
期间需要输入一次yes和密码

其他两台同样操作

3.测试免密登录

下图所示就是成功免密登录

九.配置时间同步

由于ruckyLinux 9采用chrony来管理ntp，所以进入/etc/chrony.conf修改配置

命令：sudo vim /etc/chrony.conf

1.主节点新增如下配置

配置1：

配置2：

2.重启chrony工具，并设置开机自启动，查看运行状态

命令：
sudo systemctl status chronyd.service
sudo systemctl enable chronyd.service
sudo systemctl status chronyd.service

3.查看同步状态

命令1：chronyc sourcestats -v

命令2：timedatectl

4.对三个从节点同样的文件进行如下修改

注释掉pool行

5.同样重启chrony工具，并设置开机自启动，查看运行状态，检测同步状态

命令1：
sudo systemctl status chronyd.service
sudo systemctl enable chronyd.service
sudo systemctl status chronyd.service

命令2：chronyc sourcestats -v

命令3：timedatectl

总结：上面就是基本环境配置啦，这是非常关键的配置，大家一定要小心配置，如果有哪里写的不好，欢迎各位大佬评论区指正

（非常详细）大数据平台学习·环境安装配置（一）（RockyLinux9版）相关推荐

大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用
包含sparksql的完整使用案例,请务必耐心看完专题:大数据单机学习环境搭建和使用 1.Spark安装 2.Spark配置 2.1配置环境变量 2.2spark客户端 3.Spark使用 3.1环 ...
大数据单机学习环境搭建(12)Azkaban的简单使用
专题:大数据单机学习环境搭建和使用 1.登录和密码修改 2.新建工程 2.1新建工程 2.2创建zip文件 2.3添加文件到项目 3.任务执行 3.1立即执行 3.2.设置定时任务 4.依赖任务建立 ...
大数据单机学习环境搭建(5)Hive建表DDL详解
专题:大数据单机学习环境搭建和使用 1. Hive建表简单示例 1.1.Hive建表语句 1.2.表详细信息 1.3.数据展示 2. Hive建表语法详解 3.拓展1:复杂数据分割 4.拓展2:事务表 ...
CDH大数据平台搭建之虚拟环境配置
CDH大数据平台搭建之虚拟环境配置前言一.虚拟机网络配置 1.配置ip地址 2.验证配置是否成功二.关闭防火墙 1.防火墙命令 2.禁用防火墙三.虚拟机主机名配置 1.临时配置主机名 2.永久 ...
大数据技术之 HBase安装配置
大数据技术之 HBase安装 1.hbase依赖于hadoop以及zookeeper,所以 1.1 首先myhadoop.sh start 1.2 然后zk.sh start 接下来安装hbase 1 ...
Hadoop大数据生态组件环境安装
首先安装Centos系统修改网络配置: 我的三台机器: master 192.168.179.10 slave1 192.168.179.11 slava2 192.168.179.12 各组件端口号 ...
测试环境安装配置obproxy(社区版)
测试环境安装obproxy,记录一下,已脱敏 [root@ensbrain data]# rpm -ivh obproxy-3.1.0-1.el7.x86_64.rpm 警告:obproxy-3.1. ...
hadoop在章鱼大数据平台下的安装与配置
本次所用的软件版本: ubuntu :14.04 Hadoop:hadoop-2.6.0-cdh5.4.5 jdk:jdk-7u75-linux-x64 Hive: Hbase: 一.配置基本环境 1 ...
CDH大数据平台 VM VirtualBox安装和克隆

（非常详细）大数据平台学习·环境安装配置（一）（RockyLinux9版）