Spark和Scala当中的collect方法的用法和例子

[学习笔记]

collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察，毕竟分布式数据集比较抽象。Spark的collect方法，是Action类型的一个算子，会从远程集群拉取数据到driver端。最后，将大量数据
汇集到一个driver节点上，将数据用数组存放，占用了jvm堆内存，非常用意造成内存溢出，只用作小型数据的观察。*/
val arr = res.collect();
println("arr(0) is " + arr(0) + " arr(2) is " + arr(2) + " arr(4) is " + arr(4));
}
}
输出结果：
map 用法 is 1,16,9,49,25
filter 用法 1,4,3
map2 用法 is 马克-to-win @ 马克java社区：2,5,4,8,6
filter2 用法马克-to-win @ 马克java社区：4,7,5
arr(0) is 1 arr(2) is 3 arr(4) is 5
sum is 55
reduceByKey 用法 (1,8),(3,12)

文章转载自原文：https://blog.csdn.net/qq_44596980/article/details/93383431

转载于:https://www.cnblogs.com/haima1949/p/11344079.html

Spark和Scala当中的collect方法的用法和例子相关推荐

scala当中的文件操作、网络请求和隐式转换
scala当中的文件操作.网络请求和隐式转换文件操作和网络请求读取文件当中每一行的数据读取词法单元和数字读取网络资源.文件写入.控制台操作读取网络资源文件写入操作控制台交互操作 scal ...
【Spark】scala基础入门
文章目录零.IDEA的scala环境配置 0.1 spark和scala之间的关系 0.2 编写项目 (0)创建项目 (1)配置pom.xml文件: (2)配置对应环境 (3)测试代码 (4)控制台 ...
spark集群访问mysql_一种Spark并行访问MPP数据库的方法与流程
本发明涉及数据库技术领域: :,具体来说,涉及一种Spark并行访问MPP数据库的方法. 背景技术: ::从关系数据库读取数据,Spark可以使用DataFrame和JdbcRDD等方法.这些方法在 ...
Spark面对OOM问题的解决方法及优化总结 (转载)
Spark面对OOM问题的解决方法及优化总结 (转载) 转载地址: http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的 ...
Spark之scala学习（基础篇）待更新
文章目录引言大数据介绍大数据与云计算区别大数据和人工智能的区别大数据和传统的分析(excel)的区别 scala的特性面向对象特性函数式编程函数式编程的特点: 函数式编程的优势静态类 ...
linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法
Spark编程环境 Spark 可以独立安装使用,也可以和Hadoop 一起安装使用.在安装 Spark 之前,首先确保你的电脑上已经安装了 Java 8 或者更高的版本. Spark 安装访问 S ...
spark（scala） shell 里面输入多行代码
spark(scala版本) shell 里面输入多行代码但如果出现这种情况(如下图所示) 建议大家还是在linux系统中,利用脚本实现代码的运行.具体步骤如下: 进入Linux系统终端,输入相关代 ...
Spark程序运行常见错误解决方法以及优化
Spark程序运行常见错误解决方法以及优化参考文章: (1)Spark程序运行常见错误解决方法以及优化 (2)https://www.cnblogs.com/double-kill/p/901238 ...
Spark记录-Scala基础语法
如果您熟悉Java语言语法和编程,那么学习Scala将会很容易.Scala和Java之间最大的句法差异在于行结束字符的分号(;) 是可选的. 当编写Scala程序时,它可以被定义为通过调用彼此的方法进 ...

Spark和Scala当中的collect方法的用法和例子

Spark和Scala当中的collect方法的用法和例子相关推荐

最新文章

热门文章