004 Spark中的local模式的配置以及测试

一：介绍

1.Spark的模式

　　Local：本地运行模式，主要用于开发、测试
　　Standalone：使用Spark自带的资源管理框架运行Spark程序，30%左右
　　Yarn: 将spark应用程序运行在yarn上，绝大多数使用情况，60%左右，因为已经有了一个hadoop框架，就不再再搭建standalone框架了
　　Mesos：

二：Local模式安装

1.解压

　　使用自己编译产生的tgz压缩包。

2.建立软连接

3.复制配置文件

4.修改env.sh文件

三：运行测试

1.启动HDFS

2.准备测试路径

3.开始测试　　

　　./run-example SparkPi 10<----------------10代表迭代的次数

4.shell的测试

5.shell效果

四：问题（HDFS问啥要启动的问题）

1.HDFS启动的原因

　　如果不启动HDFS，在./spark-shell的时候会出现错误。

2.不启动HDFS会出现的问题

3.下面的配置是真正的spark local，不再需要考虑hadoop

4.启动./spark-shell

　　没有其他服务。

　　可以成功启动。

五：页面

1.程序示例

　　这个是后来的补充。

1 sc.textFile("/user/beifeng/mapreduce/wordcount/input/wc.input").
2 filter(_.length>0).
3 flatMap(_.split(" ").map((_,1))).
4 groupByKey().
5 map(tuple=>(tuple._1,tuple._2.toList.sum)).
6 collect()

2.4040端口可以访问

　　、

　　点进去：

004 Spark中的local模式的配置以及测试相关推荐

9.cuBLAS开发指南中文版--cuBLAS中的原子模式的配置
cuBLAS中的原子模式的配置 2.4.20. cublasSetAtomicsMode() cublasStatus_t cublasSetAtomicsMode(cublasHandlet han ...
Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常
一般在我们开发spark程序的时候,从代码开发到上线以及后期的维护中,在整个过程中都需要涉及到调优的问题,即一开始需要考虑如何把代码写的更简洁高效调优(即代码优化),待开发测试完成后,提交任务时综合考 ...
Spark中的内存计算是什么?
由于计算的融合只发生在 Stages 内部,而 Shuffle 是切割 Stages 的边界,因此一旦发生 Shuffle,内存计算的代码融合就会中断. 在 Spark 中,内存计算有两层含义: 第一 ...
spark中local模式与cluster模式使用场景_Spark 知识点 ( 架构 RDD Task )
1. Spark介绍 Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一 ...
spark中local模式与cluster模式使用场景_不可不知的Spark调优点
不可不知的Spark调优点mp.weixin.qq.com 在利用Spark处理数据时,如果数据量不大,那么Spark的默认配置基本就能满足实际的业务场景.但是当数据量大的时候,就需要做一定的参数配 ...
Intellij IDEA开发环境搭建，scala配置及打包，jar包在spark中的运行
1. Intellij IDEA 开发环境搭建最近在学习scala,除需要编写scala程序外,同时还需要创建maven工程,打成Jar包,而Eclipse在这方面显得使用的不是那么方面,同时由于I ...
Spark的Local模式及案例
Spark的Local模式及案例基本概念 Local模式搭建 1. 解压缩文件 2.修改文件名启动 Local 环境 WordCount案例 1.添加文件 2.执行命令 3.结果截图测试Spar ...
在local模式下的spark程序打包到集群上运行
一.前期准备前期的环境准备,在Linux系统下要有Hadoop系统,spark伪分布式或者分布式,具体的教程可以查阅我的这两篇博客: Hadoop2.0伪分布式平台环境搭建 Spark2.4.0伪分 ...
Eclipse中使用Hadoop集群模式开发配置及简单程序示例（Windows下）
Hadoop入门配置系列博客目录一览 1. Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下) 2. 使用Hadoop命令行执行jar包详解(生成jar.将文件上传到df ...

004 Spark中的local模式的配置以及测试

004 Spark中的local模式的配置以及测试相关推荐

最新文章

热门文章