CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群

  • VMWare 安装CentOS 7
  • 使用Xshell连接虚拟机
  • 集群设置
  • 安装JDK 1.8
  • SSH 免密登陆
  • 安装hadoop 3.2
  • 安装Spark 3.0.1
  • 总结

VMWare 安装CentOS 7

  1. 推荐使用VMware Workstation Pro 16，下载安装即可。
  2. 下载最新的CentOS 7 Minimal-2009.iso，在虚拟机安装。推荐1G运存和20G存储。
  3. 在CentOS 7的安装过程中，需要设置root用户的密码，还可以根据需要创建单独的用户。
  4. 安装完成后，使用命令行进行更新，然后安装net-tools.x86_64，以方便查看ip地址。 
    # 如果在安装时没有连接网络vi /etc/sysconfig/network-scripts/ifcfg-ens33# 将ONBOOT=no修改为yes# 重启网络服务service network restart# 更新系统yum update# 安装net-toolsyum install net-tools.x86_64# 查看ip地址ifconfig

    ip地址为：192.168.92.137

使用Xshell连接虚拟机

  1. 这里可以下载Xshell家庭/学校免费版，但是您需要申请才行。
  2. 文件->新建会话，信息配置可以参考如下，连接即可。
    名称 主机 端口 用户名
    CentOS 7 192.168.92.137 22 root

    表格中的信息，具体需要更换成您自己的。

集群设置

  1. 节点设置。

    hostname(主机名) ip地址 namenode(主节点) datanode(从节点)
    master 192.168.92.137 True False
    slave1 192.168.92.138 False True
    slave2 192.168.92.139 False True
    slave3 192.168.92.140 False True

    为什么上面的ip地址是连续的呢? 这其实跟DHCP有关，下一步我们会使用克隆主机的方式来创建多个slave机器，大家可以去验证，但是可能出现与表中不一直的ip，我们根据需要修改即可。

安装JDK 1.8

  1. 在进行下一步的克隆前，我们先安装jdk-8u271-linux-x64.tar.gz，目前1.8版本的下载需要注册Oracle的账号才能够下载，有点麻烦呢。
  2. 使用SCP命令上传到master主机上，scp命令使用参考如下。 
    scp local_file remote_username@remote_ip:remote_folder

    参数依次是本地文件，远程用户名和远程ip，以及保存的文件夹。在PowerShell中使用如下。

     PS E:\XunLeiDownload> scp .\jdk-8u271-linux-x64.tar.gz root@192.168.92.137:/usr/local>>> # 这是输出The authenticity of host '192.168.92.137 (192.168.92.137)' can't be established.ECDSA key fingerprint is SHA256:DjkK5V/chVHAD1SsaosqdxfH4wClmH8S6M8kxw7X/RQ.Are you sure you want to continue connecting (yes/no)?Warning: Permanently added '192.168.92.137' (ECDSA) to the list of known hosts.root@192.168.92.137's password:jdk-8u271-linux-x64.tar.gz                                                            100%  137MB  91.5MB/s   00:01    # 上传成功
  3. 解压jdk1.8到/usr/local路径下， 
    tar -xvf jdk-8u271-linux-x64.tar.gz
mv jdk1.8.0_271 jdk1.8    # 重命名文件夹

    安装vim，编辑/etc/profile，

    yum install vim # 安装vim
vim /etc/profile

    添加两行内容如下，

    export JAVA_HOME=/usr/local/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

    执行source /etc/profile使环境生效，$JAVA_HOME查看是否配置成功，或者，

    java -version
>>>
java version "1.8.0_271"
Java(TM) SE Runtime Environment (build 1.8.0_271-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode)

    表示配置成功。

SSH 免密登陆

  1. 在配置ssh免密登陆之前，将master克隆3份slaves出来，然后验证其ip是否和上面所述一致，并使用Xshell连接，这样我们可以得到额外的三台机器，且都安装好Java的。
    注意：在使用克隆时，不太推荐使用链接克隆。
    使用ifconfig查看ip地址后，如下，下面将按照这个ip地址进行配置。

    hostname(主机名) ip地址 namenode(主节点) datanode(从节点)
    master 192.168.92.137 True False
    slave1 192.168.92.134 False True
    slave2 192.168.92.135 False True
    slave3 192.168.92.146 False True
  2. 在master节点上更改hosts文件如下。
    vim /etc/hosts编辑，在后面添加以下行。

    192.168.92.137 master
192.168.92.134 slave1
192.168.92.135 slave2
192.168.92.136 slave3

    其他的slave节点也应该如此。

  3. 使用以下命令，分别更改4台机器的主机名，以master节点为例。 
    hostnamectl set-hostname master

    其他节点是slave1-3，更改完成后在Xshell中重启会话就可以发现主机名已经改变啦。

  4. 要使master和3台slave免密登陆，需先在本地机器使用ssh-keygen一个公私钥对。 
    ssh-keygen -t rsa    # 生成公私钥对
>>>
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):   # 不用输入
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.    # 存放位置
Your public key has been saved in /root/.ssh/id_rsa.pub.      # 公钥
The key fingerprint is:
SHA256:vGAdZV8QBkGYgbyAj4OkQ9GrYEEiilX5QLmL97CcFeg root@master
The key's randomart image is:
+---[RSA 2048]----+
|+o++o+ ..=*o+o.  |
|==..= o oo o .   |
|*..o.* ..   .    |
|=.o.+ +o .       |
|o..+ .o.S        |
| .. E... .       |
|   o *  .        |
|    + .          |
|                 |
+----[SHA256]-----+

    其他三台机器也是这样生成。

  5. 将slaves生成的所有id_rsa.pub公钥文件通过scp上传到master的/root/.ssh/目录下。 
    scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.1    # slave2 对应于.2
scp id_rsa.pub root@master:/root/.ssh/id_rsa.pub.2    # 依此类推
# master上也要这样处理，否则就不能从slaves登陆到master，如下
scp id_rsa.pub root@master:/root/.ssh/

    在master节点上，将所有的公钥文件写入authorized_keys文件中。

    cat id_rsa.pub* >> authorized_keys
rm -rf id_rsa.pub.*     # 删除

    分发authorized_keys文件给slaves机器。

    scp authorized_keys root@slave1:/root/.ssh/
scp authorized_keys root@slave2:/root/.ssh/
scp authorized_keys root@slave3:/root/.ssh/

    分发known_hosts文件给slaves机器。

    scp known_hosts root@slave3:/root/.ssh/  # 其他同上

    这样就可以实现免密登陆啦，查看known_hosts文件如下。

       master,192.168.92.137 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk=slave1,192.168.92.134 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk=slave2,192.168.92.135 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk=slave3,192.168.92.136 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBG4pcNSq4jQmGY3JRlYoU/IssJ8gfjTZhCcqBmLlviFismkti27xJHbd0s1rcaO/MX4ORK6eUdGr2ALE/r36otk=

    符合这样的格式才可以呢。

安装hadoop 3.2

  1. 下载hadoop-3.2.1.tar.gz，通过scp上传之master节点，然后解压。

    PS E:\XunLeiDownload> scp .\jdk-8u271-linux-x64.tar.gz root@192.168.92.137:/usr/local
tar -xvf hadoop-3.2.1.tar.gz   # 解压在/usr/local/hadoop-3.2.1
  2. 添加环境变量，vim /etc/profile，在最后添加以下两行。 
    export HADOOP_HOME=/usr/local/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME:/sbin

    执行以下命令source /etc/profile，使配置文件生效，并查看是否成功。

    hadoop version
>>>
Hadoop 3.2.1
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842
Compiled by rohithsharmaks on 2019-09-10T15:56Z
Compiled with protoc 2.5.0
From source with checksum 776eaf9eee9c0ffc370bcbc1888737
This command was run using /usr/local/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar
  3. 在hadoop安装目录下建立以下目录： 
    mkdir tmp  # 即hadoop-3.2.1/tmp， 存储临时文件
mkdir -p hdfs/name  # namenode的数据目录
mkdir -p hdfs/data # datanode的数据目录
  4. 配置相关配置文件，在etc/hadoop目录下。
    文件 介绍
    core-site.xml 核心配置文件
    dfs-site.xml hdfs存储相关配置
    apred-site.xml MapReduce相关的配置
    arn-site.xml yarn相关的一些配置
    workers 用来指定从节点，文件中默认是localhost
    hadoop-env.sh 配置hadoop相关变量

    在core-site.xml文件中指定默认文件系统和临时文件目录。

    <configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-3.2.1/tmp</value></property>
</configuration>

    在hdfs-site.xml中配置复制份数，datanode和namenode的目录。

    <configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop-3.2.1/hdfs/name</value><final>true</final></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop-3.2.1/hdfs/data</value><final>true</final></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions.enabled</name><value>false</value></property>
</configuration>

    在mapred-site.xml中指定主节点和添加classpath。

    <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>mapreduce.application.classpath</name><value>/usr/local/hadoop-3.2.1/etc/hadoop,/usr/local/hadoop-3.2.1/share/hadoop/common/*,/usr/local/hadoop-3.2.1/share/hadoop/common/lib/*,/usr/local/hadoop-3.2.1/share/hadoop/hdfs/*,/usr/local/hadoop-3.2.1/share/hadoop/hdfs/lib/*,/usr/local/hadoop-3.2.1/share/hadoop/mapreduce/*,/usr/local/hadoop-3.2.1/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.2.1/share/hadoop/yarn/*,/usr/local/hadoop-3.2.1/share/hadoop/yarn/lib/*</value></property>
</configuration>

    yarn-site.xml中都需要指向主节点。

    <configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property>
</configuration>

    workers中指定datanode节点。

    localhost
slave1
slave2
slave3

    在hadoop-env.sh中指定用户。

    export HADOOP_HOME=/usr/local/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  5. 将配置好的hadoop分发到其他机器，在其他slaves机器上也要执行步骤2添加环境变量哦。 
    scp -r hadoop-3.2.1 slave1:/usr/local/
scp -r hadoop-3.2.1 slave2:/usr/local/
scp -r hadoop-3.2.1 slave3:/usr/local/
  6. 格式化namenode，在master执行。 
    hdfs name -format
>>
2020-11-25 23:58:07,593 INFO common.Storage: Storage directory /usr/local/hadoop-3.2.1/hdfs/name has been successfully formatted.
2020-11-25 23:58:07,640 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop-3.2.1/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2020-11-25 23:58:07,792 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop-3.2.1/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 396 bytes saved in 0 seconds .
2020-11-25 23:58:07,807 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2020-11-25 23:58:07,825 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown.
2020-11-25 23:58:07,826 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.92.137
************************************************************/

    在输出中看到Storage: Storage directory /usr/local/hadoop-3.2.1/hdfs/name has been successfully formatted.，说明格式话成功了，在下一次格式化前，需要删除hdfs和tmp目录下的所有文件，否则会运行不起来。

  7. 启动hadoop，在sbin下。 
    ./start-all.sh
>>>./start-all.sh
Starting namenodes on [master]
上一次登录：四 11月 26 00:08:30 CST 2020pts/5 上
master: namenode is running as process 14328.  Stop it first.
Starting datanodes
上一次登录：四 11月 26 00:14:03 CST 2020pts/5 上
slave1: WARNING: /usr/local/hadoop-3.2.1/logs does not exist. Creating.
slave3: WARNING: /usr/local/hadoop-3.2.1/logs does not exist. Creating.
slave2: WARNING: /usr/local/hadoop-3.2.1/logs does not exist. Creating.
localhost: datanode is running as process 14468.  Stop it first.
Starting secondary namenodes [master]
上一次登录：四 11月 26 00:14:04 CST 2020pts/5 上
Starting resourcemanager
上一次登录：四 11月 26 00:14:09 CST 2020pts/5 上
resourcemanager is running as process 13272.  Stop it first.
Starting nodemanagers
上一次登录：四 11月 26 00:14:19 CST 2020pts/5 上

    使用jps查看。

    jps
>>>
15586 Jps
14468 DataNode
14087 GetConf
13272 ResourceManager
14328 NameNode
15096 SecondaryNameNode
15449 NodeManager

    这上面显示的master节点的信息slaves节点则少了一些，可以自行查看哦。

  8. 验证，访问namenod主节点端口9870。 
    service firewalld stop  # 需要关闭防火墙哦

    webui地址在：http://192.168.92.137:9870/。

  9. 在下面的摘要如下，可以看到确实有4个节点。
  10. 查看yarn管理界面，在http://192.168.92.137:8088/cluster。
  11. 测试，向hdfs文件系统中写入一个文件。 
    PS E:\XunLeiDownload> scp .\TwitterSecurity.csv root@192.168.92.137:/root
# 这里上传一个40多兆的csv文件
hdfs dfs -put TwitterSecurity.csv /

    可以看到确实在是三个节点上复制保存。

安装Spark 3.0.1

  1. 下载预编译hadoop3.2的版本，spark-3.0.1-bin-hadoop3.2.tgz。

  2. 使用scp上传到master节点上，然后解压，并加入相应的环境变量。

    PS E:\XunLeiDownload> scp .\spark-3.0.1-bin-hadoop3.2.tgz root@192.168.92.137:/usr/local     # 上传
tar -xvf spark-3.0.1-bin-hadoop3.2.tgz  # 解压
mv spark-3.0.1-bin-hadoop3.2 spark-3.0.1

    vim /etc/profile添加以下两行。

    export SPARK_HOME=/usr/local/spark-3.0.1
export PATH=$PATH:$SPARK_HOME:/bin:$SPARK_HOME:/sbin

    source /etc/profile使配置文件生效。

  3. 进入conf文件夹，复制配置文件模板。
    cp spark-env.sh.template spark-env.sh
    在spark-env.sh后面添加以下行。

     export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop-3.2.1/etc/hadoop
export SPARK_MASTER_HOST=master
export SPARK_LOCAL_DIRS=/usr/local/spark-3.0.1

    cp slaves.template slaves编辑如下。

    localhost
slave1
slave2
slave3

  4. 将spark分发给slaves机器，同时不要忘记环境变量。

    scp -r spark-3.0.1 slave1:/usr/local/
scp -r spark-3.0.1 slave2:/usr/local/
scp -r spark-3.0.1 slave3:/usr/local/

  5. 运行，进入sbin目录。

     ./start-all.sh >>>
org.apache.spark.deploy.master.Master running as process 16859.  Stop it first.
slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.out
slave3: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave3.out
localhost: org.apache.spark.deploy.worker.Worker running as process 17975.  Stop it first.
slave2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out

  6. 查看，地址在：http://192.168.92.137:8080/。

CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群相关推荐

  1. CentOS 7上搭建Spark 3.0.1 + Hadoop 3.2.1分布式集群

    CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群 VMWare 安装CentOS 7 使用Xshell连接虚拟机 集群设置 安装JDK 1.8 SSH 免密登陆 安装ha ...

  2. java集群_Kafka多节点分布式集群搭建实现过程详解_java

    上一篇分享了单节点伪分布式集群搭建方法,本篇来分享一下多节点分布式集群搭建方法.多节点分布式集群结构如下图所示: 为了方便查阅,本篇将和上一篇一样从零开始一步一步进行集群搭建. 一.安装Jdk 具体安 ...

  3. 在 CentOS 7 上搭建 Jenkins + Maven + Git 持续集成环境

    本文以部署 Spring boot + Maven 项目为例,使用码云作为代码托管仓库,在 CentOS 7 上搭建 Jenkins 持续集成环境. 1. 准备工作 1.1 安装 Java 环境 Je ...

  4. 【在Centos系统上搭建原神服务器2.8题】

    在Centos系统上搭建原神服务器2.8 警告! 本文章及系列教程仅供个人技术研究使用,禁止向任何人提供私人游戏服务器服务 我为什么会分享出来,因为有人利用免费开源项目进行收费 不仅如此还有进服的二次 ...

  5. CentOS服务器上搭建Gitlab安装步骤、中文汉化详细步骤、日常管理以及异常故障排查

    CentOS服务器上搭建Gitlab安装步骤.中文汉化详细步骤.日常管理以及异常故障排查 参考文章: (1)CentOS服务器上搭建Gitlab安装步骤.中文汉化详细步骤.日常管理以及异常故障排查 ( ...

  6. php对接AliGenie天猫精灵服务器控制智能硬件esp8266② 全面认识第三方授权机制 oauth2.0 协议，如何在 php 上搭建 oauth2.0服务端！(附带demo)

    本系列博客学习由非官方人员 半颗心脏 潜心所力所写,仅仅做个人技术交流分享,不做任何商业用途.如有不对之处,请留言,本人及时更改. 1. php对接AliGenie天猫精灵服务器控制智能硬件esp82 ...

  7. CentOS 7 + Hadoop3 伪分布式集群配置

    转自:https://www.cnblogs.com/thousfeet/p/8618696.html ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的 ...

  8. hadoop搭建伪分布式集群（centos7+hadoop-3.1.1）

    原文地址:https://www.cnblogs.com/zhengna/p/9316424.html Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本 2 ...

  9. redis3.0搭建分布式集群

    redis高版本使用ruby实现了集群,所以需要ruby环境,安装ruby环境和redis的gem接口后,就可以使用redis的redis-trib.rb脚本创建集群. 先列一下大的步骤. 1.修改配 ...

最新文章

  1. Hinton临时拒绝所有邀约发推致歉，称突然发现最新想法有致命缺陷
  2. GTK+ 项目名终于去掉了那个加号
  3. HttpApplication IHttpAsyncHandler, IHttpHandler, IComponent, IDisposable ps url System.Web.dll
  4. LINUX检测服务并自动运行,一种Linux下的开机自动检测硬件信息的方法与流程
  5. php 笔试 龙腾简合_记录面试龙腾简合-java开发工程师经历
  6. 第7章 实战演练：爬取百度百科1000个页
  7. OnPaint()函数的作用原理
  8. 简而不漏，300字Java标识符命名规则规范，看一遍就可以记住，包名类名变量名常量名，让命名有迹可循
  9. 高薪必备｜Redis 基础、高级特性与性能调优
  10. html5 怎么实现展开文字,html5实现滚动文字
  11. c# 与 c++ 界面同框终极技巧
  12. 【SpringCloud】服务降级 Hystrix DashBoard
  13. marquee标签制作轮播图
  14. [RK3399][Android7.1] 调试笔记 --- 播放音乐没有声音
  15. 什么是云计算架构和组件
  16. SAP 库存盘点 步骤--（详细）
  17. CentOS 8上安装Docker
  18. 人工智能-机器学习-深度学习的区别与联系
  19. 偷偷赚钱的副业（真实有效）
  20. postgresql java驱动_PostgreSQL的JDBC驱动和URL

热门文章

  1. 国内远程医疗市场快速增长
  2. Confluence 6 选择一个外部数据库
  3. mikrotik dhcp server
  4. 阿里云服务器配置开发环境第五章：Centos7.3切换为iptables防火墙
  5. tempdb 相关总结
  6. 10g中如何修改数据库字符集-2
  7. 评论语义分析 分词 分类python_用python调用ICTCLAS50进行中文分词
  8. sqllite事务和MySQL事务_Android学习---SQLite数据库的增删改查和事务(transaction)调用...
  9. Java Duration类| isZero（）方法与示例
  10. json转string示例_C.示例中的String.Copy（）方法