1.确保前边的环境都是否配置成功

搭建环境之前先确定自己的环境是否做好
1.jdk 1.8版本
2.HDFS MapReduce Hadoop 3.2.1 +
3.zookeeper
4.python 环境 3.8+
5.HADOOP_CONF_DIR
6.YARN_CONF_DIR
点击查看这六个的配置方法: 点击直接跳转.

2.连接到YARN中

bin/pyspark

bin/pyspark --master yarnbin/pyspark --master yarn --deploy-mode client|cluster
# --deploy-mode 选项是指定部署模式, 默认是 客户端模式
# client就是客户端模式
# cluster就是集群模式
# --deploy-mode 仅可以用在YARN模式下

注意: 交互式环境 pyspark 和 spark-shell 无法运行 cluster模式

成功标识

(base) [root@6274master spark]# bin/pyspark --master yarn
Python 3.8.12 (default, Oct 12 2021, 13:49:34)
[GCC 7.5.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
22/01/13 02:54:48 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
22/01/13 02:54:57 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
Welcome to____              __/ __/__  ___ _____/ /___\ \/ _ \/ _ `/ __/  '_//__ / .__/\_,_/_/ /_/\_\   version 3.2.0/_/Using Python version 3.8.12 (default, Oct 12 2021 13:49:34)
Spark context Web UI available at http://6274master:4040
Spark context available as 'sc' (master = yarn, app id = application_1642051744763_0001).
SparkSession available as 'spark'.
>>>

Spark On YARN 环境搭建相关推荐

Spark on Yarn环境搭建
1,解压缩spark安装文件 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 2,修改spark目录名称 mv spark-3.0.0-b ...
Spark学习之路一——Spark基础及环境搭建
Spark学习之路一--Spark基础及环境搭建文章目录一. Spark 概述 1.1 概述 1.2 优势特性 1.2.1 运行速度快 1.2.2 容易使用 1.2.3 通用性 1.2.4 运行模 ...
Spark集群环境搭建（standalone模式）
Spark集群环境搭建(standalone模式) 1. 实验室名称: 2. 实验项目名称: 3. 实验学时: 4. 实验原理: 5. 实验目的: 6. 实验内容: 7. 实验器材(设备.虚拟机名称) ...
Spark详解（二）：Spark完全分布式环境搭建
1. 前言本文搭建了一个由三节点(master.slave1.slave2)构成的Spark完全分布式集群,并通过Spark分布式计算的一个示例测试集群的正确性.本文将搭建一个支持Yarn的完全分布 ...
spark入门及环境搭建
简介快速,通用,大数据处理分析框架 scala编写采用DAG引擎,支持内存计算,速度快可以运行scala,java,python,r等开发的程序集成多种数据源 spark组件 spark co ...
windows10下python开发spark应用的环境搭建
环境搭建主要涉及到3方面,第1是安装,第2是环境变量的配置,第3是验证安装和配置是否成功,总的涉及到以下5个部分. 环境变量配置是在此电脑 -> 属性 -> 高级系统设置 -> 高 ...
linux spark单节点环境搭建,Linux下基于Hadoop的Spark1.2单机安装
一,安装环境硬件:虚拟机操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop2.6,Hadoop2. ...
YARN环境搭建之一：CentOS7.0系统配置
一.我缘何选择CentOS7.0 14年7月7日17:39:42发布了CentOS 7.0.1406正式版,我曾使用过多款Linux,对于Hadoop2.X/YARN的环境配置缘何选择CentOS7. ...
Windows下Scala+Spark+IDEA+Hadoop环境搭建
下载安装包,添加环境变量不再赘述. 注意spark和scala要对应版本.例如Spark使用官网下载的spark-2.4.4-bin-hadoop2.7,打开%SPARK_HOME%\jars文件夹, ...

Spark On YARN 环境搭建

1.确保前边的环境都是否配置成功

2.连接到YARN中

bin/pyspark

Spark On YARN 环境搭建相关推荐

最新文章

热门文章