spark学习-SparkSQL一些函数的使用

1。parallelizePairs余parallelize

/** Distribute a local Scala collection to form an RDD. */def parallelizePairs[K, V](list: java.util.List[Tuple2[K, V]], numSlices: Int): JavaPairRDD[K, V] = {implicit val ctagK: ClassTag[K] = fakeClassTagimplicit val ctagV: ClassTag[V] = fakeClassTagJavaPairRDD.fromRDD(sc.parallelize(list.asScala, numSlices))}

可以源代码得到 parallelizePairs=======》调用===parallelize
parallelize相当于直接拷贝了原始数据（只不过可以并行计算，初学者可以这样理解）
parallelizePairs相当于直接拷贝了原始数据并且把第一个数据当做key（形成key-value的形式）

2。
subtractByKey
类似于subtrac，删掉 RDD 中键与 other RDD 中的键相同的元素

3。
RDD1.join

spark学习-SparkSQL一些函数的使用相关推荐

spark学习 Java版SparkSQL程序读取Hbase表注册成表SQL查询
参考: spark学习-SparkSQL–11-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询 http://blog.csdn.net/qq_21383435/article ...
spark学习-Spark的Core理解
1.为什么理解它? 有一次我要跑一个任务,spark-submit提交的任务,但是它总是处于ACCEPED等待接受的状态,以前遇到这个问题,这个是内存不够引起的 Spark学习-SparkSQL–05 ...
Spark学习（6）-Spark SQL
1 快速入门 SparkSQL是Spark的一个模块, 用于处理海量结构化数据. SparkSQL是非常成熟的海量结构化数据处理框架. 学习SparkSQL主要在2个点: SparkSQL本身十分优 ...
Spark学习痛点和路线图
Spark学习的痛点对初学者(特别是自学者)学习来说,Spark学习有以下两大痛点. 1．头绪太多,不知道从哪学从Spark的技术栈可以看到,涉及的技术从操作系统到外部组件.Spark框架.交互工 ...
spark 学习笔记
spark 学习笔记 spark介绍 Spark是是一种快速通用的集群计算系统,它的主要特点是能够在内存中进行计算.它包含了 spark 核心组件 spark-core,用于 SQL 和结构化处理数据 ...
spark学习笔记！！！！
文章目录 1.spark概述 2.spark运行架构 2.1.核心组件 2.2.核心概念 2.3.Spark提交流程 3.spark核心编程 3.1.RDD 3.1.1.什么是RDD 3.1.2.RD ...
Apache Spark学习：利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程 A Scala Tutorial for Ja ...
用Spark学习FP Tree算法和PrefixSpan算法
在FP Tree算法原理总结和PrefixSpan算法原理总结中,我们对FP Tree和PrefixSpan这两种关联算法的原理做了总结,这里就从实践的角度介绍如何使用这两个算法.由于scikit-l ...
Spark之SparkSQL实战
DataFrames 基本操作和 DSL SQL风格 UDF函数以及数据源: SparkSQL查询 Json数据准备 123 {"name":"Michael" ...

spark学习-SparkSQL一些函数的使用

spark学习-SparkSQL一些函数的使用相关推荐

最新文章

热门文章