scala中rdd无法join的问题

原始代码如下:

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.log4j.{Level, Logger}object hello
{def main(args: Array[String]){Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)Logger.getLogger("org.apache.spark").setLevel(Level.WARN)Logger.getLogger("org.project-spark").setLevel(Level.WARN)var conf = new SparkConf().setMaster("spark://Desktop:7077").setAppName("appName")var sc = new SparkContext(conf)var rdd2= sc.makeRDD(Array((1,1,"a"),(2,2,"b"),(3,3,"c")))var rdd1 = sc.makeRDD(Array((1,1,4),(2,2,5),(3,3,6)))println(rdd2.getClass.getSimpleName)
//    var rdd3=rdd1.join(rdd2)println(rdd1.collect())}
}

这个原因是上面的是三维的Array,改成两维的即可进行join了。

var rdd2= sc.makeRDD(Array((1,"a"),(2,"b"),(3,"c")))
var rdd1 = sc.makeRDD(Array((1,"b"),(2,"c"),(3,"d")))

scala中rdd无法join的问题相关推荐

scala中的隐式转换、隐式参数和隐式类
scala中的隐式转换.隐式参数和隐式类 @(SCALA)[scala] scala中的隐式转换隐式参数和隐式类一隐式转换 1示例 2隐式转换的条件二隐式参数 1示例三隐式类 1示例隐式转换是 ...
Scala中的嵌套循环
Scala中的嵌套循环 (Nested loop in Scala) In programming, a nested loop is used in initializing or iterate ...
Spark中 RDD之coalesce与repartition区别
Spark中 RDD之coalesce与repartition区别 coalesce def coalesce(numPartitions: Int, shuffle: Boolean = false ...
Spark中RDD、DataFrame和DataSet的区别与联系
一.RDD.DataFrame和DataSet的定义在开始Spark RDD与DataFrame与Dataset之间的比较之前,先让我们看一下Spark中的RDD,DataFrame和Dataset ...
Spark 中 RDD 的详细介绍
RDD ---弹性分布式数据集 RDD概述 RDD论文中文版 : http://spark.apachecn.org/paper/zh/spark-rdd.html RDD产生背景为了解决开发人员 ...
scala中打印数组和集合_如何在Scala中打印数组？
scala中打印数组和集合 Scala中的数组 (Array in Scala) In Scala, Array is a data structure that is a collection of ...
scala中sortBy与sortWith区别
(1)Scala中sortBy是以方法的形式存在的,并且是作用在Array或List集合排序上,并且这个sortBy默认只能升序,除非实现隐式转换或调用reverse方法才能实现降序. (2)sort ...
python threading join_Python中threading模块join函数用法实例分析
本文实例讲述了Python中threading模块join函数用法.分享给大家供大家参考.具体分析如下: join的作用是众所周知的,阻塞进程直到线程执行完毕.通用的做法是我们启动一批线程,最后joi ...
Akka 系列（五）：Java 和 Scala 中的 Future
随着CPU的核数的增加,异步编程模型在并发领域中的得到了越来越多的应用,由于Scala是一门函数式语言,天然的支持异步编程模型,今天主要来看一下Java和Scala中的Futrue,带你走入异步编程的 ...

scala中rdd无法join的问题

scala中rdd无法join的问题相关推荐

最新文章

热门文章