spark架构设计编程模型 02

启动spark-shell:

简单的RDD：

上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例：

我们把生成的RDD的每个元素都乘以3：

上述的操作都是transformations我们需要触发一个action才能执行：

我们可以看到预期结果，但我们可以看到collect操作返回的是一个Array，所以数据不要太多，否则会出现OOM

下面执行下filter操作：

真的spark编程应该是完全函数式的，我们把上述操作用一行代码搞定：

转载于:https://www.cnblogs.com/stark-summer/p/4829822.html

spark架构设计编程模型 02相关推荐

一文带你了解 Spark 架构设计与原理思想
卷友们,大家好 ~ 我是 Alex .之前已经陆续输出了 Hadoop三大核心组件的架构思想和原理和 Hive架构设计和原理 ,每篇都受到了读者小伙伴们的一致好评 ~ 感谢大家的支持.大家可能已 ...
Storm架构和编程模型总结
1. 编程模型 DataSource:外部数据源 Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数 ...
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节 ①...
2019独角兽企业重金招聘Python工程师标准>>> 一.MapReduce已死,Spark称霸由于Hadoop的MapReduce高延迟的死穴,导致Hadoop无力处理很多对时 ...
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第2节②...
2019独角兽企业重金招聘Python工程师标准>>> 三, Spark的RDD 在Spark中一切都是以RDD为基础和核心的: 每个RDD的API如下所示: Spark官方文档中给 ...
Netty工作笔记0034---Netty架构设计--线程模型
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152
从Storm到Flink：大数据处理的开源系统及编程模型（文末福利）
本文节选自CCF大数据教材系列丛书之<大数据处理>,本书由华中科技大学金海教授主编,包括大数据处理基础技术.大数据处理编程与典型应用处理.大数据处理系统与优化三个方面.本教材以大数据处理编 ...
从Storm到Flink：大数据处理的开源系统及编程模型
开源系统及编程模型基于流计算的基本模型,当前已有各式各样的分布式流处理系统被开发出来.本节将对当前开源分布式流处理系统中三个最典型的代表性的系统:Apache Storm,Spark Streamin ...
Apache SparkStreaming 简介和编程模型
1. 简介图5.22 SparkStreaming[16] Spark Streaming是Spark API核心扩展,提供对实时数据流进行流式处理,具备可扩展.高吞吐和容错等特性.Spark St ...
Android开发面试：架构设计和网络知识答案精解
目录架构设计编程思想六大设计原则重构-Code Smell AOP 设计模式创建型5个行为型11个结构型7个编程范式 MVC MVP MVVM MVI 模块化组件化插件化.热修复 ...
深度剖析不一样的Redis架构设计！
- 01.不一样的Redis - 提到Redis,大家一定会想到的几个点是什么呢? 高并发.KV存储.内存数据库.丰富的数据结构.单线程(版本6之前)等. 那么,接下来,上面提到的这些 ...

spark架构设计编程模型 02

spark架构设计编程模型 02相关推荐

最新文章

热门文章