TODO算子-双Value类型
object Spark13_RDD_Operator_Transform {def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")val sc = new SparkContext(sparkConf)// TODO 算子 - 双Value类型// 交集,并集和差集要求两个数据源数据类型保持一致// 拉链操作两个数据源的类型可以不一致val rdd1 = sc.makeRDD(List(1,2,3,4))val rdd2 = sc.makeRDD(List(3,4,5,6))val rdd7 = sc.makeRDD(List("3","4","5","6"))// 交集 : 【3,4】val rdd3: RDD[Int] = rdd1.intersection(rdd2)//val rdd8 = rdd1.intersection(rdd7)println(rdd3.collect().mkString(","))// 并集 : 【1,2,3,4,3,4,5,6】val rdd4: RDD[Int] = rdd1.union(rdd2)println(rdd4.collect().mkString(","))// 差集 : 【1,2】val rdd5: RDD[Int] = rdd1.subtract(rdd2)println(rdd5.collect().mkString(","))// 拉链 : 【1-3,2-4,3-5,4-6】val rdd6: RDD[(Int, Int)] = rdd1.zip(rdd2)val rdd8 = rdd1.zip(rdd7)println(rdd6.collect().mkString(","))sc.stop()}
}
TODO算子-双Value类型相关推荐
- TODO算子-双Value类型的操作
object Spark12_RDD_Operator_Transform1 {def main(args: Array[String]): Unit = {val sparkConf = new S ...
- B/S、C/S双客户类型系统研究
根据javaEE平台,我们可以知道,JavaEE的架构类型有2种.B/S架构和C/S架构. 一.体系结构 客户层 服务器层 业务层 EIS信 ...
- Spark的RDD转换算子
目录 RDD转换算子 Value 类型 1. map 2. mapPartitions map 和mapPartitions 的区别 3. mapPartitionsWithIndex 4. flat ...
- 第三课 大数据技术之Spark-RDD介绍和转换算子
第三课 大数据技术之Spark-RDD介绍和转换算子 文章目录 第三课 大数据技术之Spark-RDD介绍和转换算子 第一节 RDD相关介绍 1.1 什么是 RDD 1.2 核心属性 1.3 执行原理 ...
- 尚硅谷大数据技术Spark教程-笔记02【SparkCore(核心编程,map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy)】
视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[Spark(概述.快速上手.运行环境.运行架构)] 尚硅谷大数据技术Spark教 ...
- spark之交集并集差集拉链
spark之交集并集差集拉链 def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster(&qu ...
- SparkCore入门编程
一.Spark的概述 1.1 Hadoop的回顾 版本号的发展 hadoop1.x : hdfs 和 mapreduce hadoop2.x : hdfs.mapreduce.yarn.common ...
- spark算子详细介绍(v、k-v、vv类型)
spark算子详细介绍 算子分区数.分区器如何确定? Value 类型 1. map() 改变结构就用map 2. mapPartitions() 以分区为单位执行Map 思考一个问题:map和map ...
- Spark转换算子大全以及案例实操
1.RDD 转换算子 RDD转换算子实际上就是换了名称的RDD方法 RDD 根据数据处理方式的不同将算子整体上分为 Value 类型.双 Value 类型和 Key-Value 类型 算子:Opera ...
最新文章
- php mysql or_mysql条件查询and or使用方法及优先级实例分析
- seaborn heatmap热力图用法
- JavaScript 对象属性作实参以及实参对象的callee属性
- php 安全上传图片,php 图片上传安全探讨
- python变量类型-python变量的数据类型有哪些?
- php 发送http请求
- ArcGIS JS API中切换页面后组件报Tried to register widget with id== but that id is already registered
- IntelliJ IDEA for Mac 在eclipse(MacOS)模式下的快捷键
- 学习vi和vim编辑器(8):全局替换(1)
- libjpeg-turbo 2.1.2 交叉编译
- java drawline_JAVA drawLine()方法怎么用?
- LSF的使用方法总结
- UE4镜头抖动CameraShake
- 计算机命令提示符开热点,将win7电脑变身wifi热点操作方法_电脑怎么开热点win7...
- P背景软件测试,软件测试的背景和发展
- python基础-元组、集合 、字典
- java 通过Twitter API v2 提取收藏列表视频数据
- JavaScript实现的简单烟花特效代码1.15
- 区块链零知识证明:STARKs, Part II
- 【MySQL】使用MySQL
热门文章
- 第十三节:HttpHander扩展及应用(自定义扩展名、图片防盗链)
- mysql存储过程详解 mysql存储过程和函数
- Can't locate ExtUtils/MakeMaker.pm
- mysql atlas 实现读写分离分担数据库压力
- java快速排列马桶,马桶Java :6.高性能MySQL语句(二)
- 电脑计算机里怎么找恢复出厂设置,普通电脑怎么恢复出厂设置
- LeetCode简单题目(#235 #237 #242 #257 #258)-5道(树、数字、字符串)
- 天津市规划局存储和灾备系统集成项目
- 删除MSSQL数据库text字段中恶意脚本Script=***.js/script的方法
- windows删除文件c语言函数,c rename()函数是否删除文件?