Spark（2）——小用RDD

sparkcontext相当于我们和spark集群出创建好了连接，可以通过sparkcontext这样的上下文环境来创建RDD，在shell命令行中，spark已经将上下文环境创建好了，当我们输入sc时：

可见已经用了local模式，没有使用集群，这样可以验证一些基本的代码appName是我们当前启动的spark作业，名称为PySparkShell，我么也可以通过4040端口来查看：

我们可以通过sc的parallelize方法来传入一些可迭代的对象：

ps：数字5表示给他设定partition的数量，进行reduce计算累加函数，得到结果为13
可以通过可视化界面查看得到：

任务执行成功

Spark（2）——小用RDD相关推荐

Spark性能调优-RDD算子调优篇
Spark性能调优-RDD算子调优篇 RDD算子调优 1. RDD复用在对RDD进行算子时,要避免相同的算子和计算逻辑之下对RDD进行重复的计算,如下图所示: 对上图中的RDD计算架构进行修改,得到 ...
Spark弹性分布式数据集RDD：基于内存集群计算的容错抽象
摘要我们提出的弹性分布式数据集(RDDs),是一个让程序员在大型集群上以容错的方式执行基于内存计算的分布式内存抽象.RDDs受启发于两类使用当前计算框架处理不高效的应用:迭代算法和交互式数据挖掘工具 ...
Spark SQL程序实现RDD转换DataFrame
通过反射推断Schema 在Spark SQL中有两种方式可以在DataFrame和RDD进行转换利用反射机制,推导包含某种类型的RDD,通过反射将其转换为指定类型的DataFrame,适用于提前知 ...
什么是spark的惰性计算?有什么优势?_spark——spark中常说RDD，究竟RDD是什么？
本文始发于个人公众号:TechFlow,原创不易,求个关注今天是spark专题第二篇文章,我们来看spark非常重要的一个概念--RDD. 在上一讲当中我们在本地安装好了spark,虽然我们只有lo ...
客快物流大数据项目(四十七)：Spark操作Kudu Native RDD
目录 Spark操作Kudu Native RDD Spark操作Kudu Native RDD Spark与Kudu的集成同时提供了kudu RDD 代码示例 val columnsList = L ...
spark期末大作业RDD编程初级实践
1.需求描述本次实验需要:系统:linux unbuntu14.04,处理器:至少需要两个处器,一个内核,内存:至少4G,硬盘空间:大小需要20GB.Hadoop:2.7.1以上版本,JDK:1.8 ...
spark更改分区_spark RDD分区是否可以指定分区
更多详细内容数据分区: 在分布式集群里,网络通信的代价很大,减少网络传输可以极大提升性能. mapreduce框架的性能开支主要在io和网络传输,io因为要大量读写文件,它是不可避免的,但是网络传输 ...
Spark详解（三）：Spark编程模型（RDD概述）
1. RDD概述 RDD是Spark的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现.RDD是Spark最核心的东西,它表示已被分区,不可变的并能够被并行 ...
spark入门三（RDD基本运算）
1. RDD基本操作 val rdd1 = sc.parallelize(List(1,2,3,4,4)) 输出结果:rdd1: org.apache.spark.rdd.RDD[Int] = Par ...

Spark（2）——小用RDD

Spark（2）——小用RDD相关推荐

最新文章

热门文章