Spark的Local模式及案例

基本概念
Local模式搭建
- 1. 解压缩文件
- 2.修改文件名
启动 Local 环境
WordCount案例
- 1.添加文件
- 2.执行命令
- 3.结果截图
测试Spark中examples案例
- 1.退出本地模式
- 2.提交应用
- 3.结果截图

基本概念

Spark的Local 模式，就是不需要其他任何节点资源就可以在本地执行Spark 代码的环境，一般用于教学，调试，演示等。

Local模式搭建

1. 解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到Linux 并解压缩，放置在指定位置（路径中
不要包含中文或空格）
spark-3.0.0-bin-hadoop3.2.tgz 免费下载

解压文件

[root@hadoop103 software]# tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

2.修改文件名

修改文件名为spark-local

[root@hadoop103 module]# mv spark-3.0.0-bin-hadoop3.2 spark-local

启动 Local 环境

1.进入解压缩后的路径，执行如下指令

[root@hadoop103 spark-local]# bin/spark-shell

成功截图

2. 启动成功后，可以输入网址进行 Web UI 监控页面访问

http://虚拟机地址:4040

WordCount案例

1.添加文件

在解压缩文件夹下的data 目录中，添加word.txt 文件

[root@hadoop103 data]# vim word.txt

2.执行命令

命令行工具中执行如下代码指令

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

3.结果截图

测试Spark中examples案例

1.退出本地模式

按键Ctrl+C 或输入 Scala 指令

:quit

2.提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

其中
（1） --class 表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
（2） --master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量
（3) spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包
（4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量

3.结果截图

Spark的Local模式及案例相关推荐

spark中local模式与cluster模式使用场景_Spark 知识点 ( 架构 RDD Task )
1. Spark介绍 Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一 ...
Spark的Yarn模式及其案例
目录基本概念 Yarn模式搭建 1. 解压缩文件 2.修改配置文件启动集群测试Spark中examples案例 1. 提交应用 2.Web 页面查看日志配置历史服务器 1.具体步骤 2.重新提 ...
spark中local模式与cluster模式使用场景_Spark-Submit 和 K8S Operation For Spark
1 Overview 本文翻译自 Lightbend 的一篇文章,文章日期还比较新,2019/02/26.文章分为两部分,翻译也将分为两个部分.附上文章链接如下: https://www.lightb ...
spark中local模式与cluster模式使用场景_不可不知的Spark调优点
不可不知的Spark调优点mp.weixin.qq.com 在利用Spark处理数据时,如果数据量不大,那么Spark的默认配置基本就能满足实际的业务场景.但是当数据量大的时候,就需要做一定的参数配 ...
spark中local模式与cluster模式使用场景_Spark内核及通信框架概述-针对面试(后面有源码分析)...
Spark 内核概述 Spark内核泛指Spark的核心运行机制,包括Spark核心组件的运行机制.Spark的任务调度机制.Spark的内存管理机制.Spark核心功能的运行原理等.熟练掌握Spar ...
004 Spark中的local模式的配置以及测试
一:介绍 1.Spark的模式 Local:本地运行模式,主要用于开发.测试 Standalone:使用Spark自带的资源管理框架运行Spark程序,30%左右 Yarn: 将spark应用程序运行 ...
spark集群测试小案例
一.local模式: 测试自带计算的圆周率案例之所以会报错,是因为从网上copy过来的文件名不对:所以才会报错,以及因此而导致的错误: 正确的如下: 二.独立的Spark集群模式:使用7077端口( ...
Spark on Yarn 模式编写workcount实例
Spark on Yarn 模式编写workcount实例一:上传输入文件到hadoop,本例上传的文件名为spark.txt 二:打包程序,打包名为:Spark-0.0.1-SNAPSHOT.ja ...
spark-2.4.5-bin-2.6.0-cdh5.15.1环境搭建:Local模式和StandAlone
下载源码进行编译在这一篇中,介绍了如何下载源码进行编译,编译好的文件名为spark-2.4.5-bin-2.6.0-cdh5.15.1 对文件进行解压:tar -xvf spark-2.4.5-bi ...

Spark的Local模式及案例

Spark的Local模式及案例

基本概念

Local模式搭建

1. 解压缩文件

2.修改文件名

启动 Local 环境

WordCount案例

1.添加文件

2.执行命令

3.结果截图

测试Spark中examples案例

1.退出本地模式

2.提交应用

3.结果截图

Spark的Local模式及案例相关推荐

最新文章

热门文章