SparkStreaming找不到reduceByKey的解决方法

本文转自http://www.68idc.cn/help/jiabenmake/qita/20150115172034.html，所有权力归原作者所有。

本文中的问题可能是个很低级的问题，但是对我对Spark程序的认识很可能有巨大影响哦~

今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lkimportorg.apache.spark.s

今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：

package com.company.scala.lk import org.apache.spark.streaming._ /** * Created by kai on 15/1/14. */ object SparkStreamingTest { def loadFile(): Unit = { val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15)) val fileStreaming = ssc.textFileStream("/user/kai") val rs = fileStreaming.flatMap(_.split("\t")).map(w => (w, 1)).reduceByKey(_ + _).print() ssc.start() ssc.awaitTermination() } def main(args: Array[String]) { loadFile() } }

IDE里面提示找不到“reduceByKey”方法，但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了，然后各种版本确认之后也没发现问题（我用的Spark1.2.0版本），一时无解。

没办法，上网查吧，最后在Spark的mailing list中找到线索：

%3CCAMwrk0mN-Q=c970+Sa7JnBZHUPRRN_YZHkMHqQYb6jLFw2pmsA@mail.gmail.com%3E

原来是缺少“import StreamingContext._”，Scala会将DStream隐式转换成PairDStreamFunctions，该类中有K/V数据类型相关的函数，例如groupByKey、reduceByKey、join等。

查看Spark的源代码，在StreamingContext文件中找到如下代码：

implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)]) (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = { new PairDStreamFunctions[K, V](stream) }

可以看到，上面的隐式转换函数会将DStream转换为PairDStreamFunctions。

隐式转换函数需要额外import，否则无法正常转换。

可以直接import转换函数：

import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions

或者import org.apache.spark.streaming.StreamingContext._

本文出自 “RunningMan” 博客，请务必保留此出处

SparkStreaming找不到reduceByKey的解决方法相关推荐

centos安装vmware workstation 找不到kernel header解决方法
vmware workstation 在centos6.4升级内核后,提示找不到kernel header 解决方法: 升级内核 yum update kernel -y 安装kernel-hease ...
orangepi找不到GPIO的解决方法
orangepi找不到GPIO的解决方法参考文章: (1)orangepi找不到GPIO的解决方法 (2)https://www.cnblogs.com/unixart/p/6127437.html ...
安装完Hadoop之后，命令行输入hadoop或hdfs却找不到命令的解决方法
安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法参考文章: (1)安装完Hadoop之后,命令行输入hadoop或hdfs却找不到命令的解决方法 (2)https:// ...
IBM X3650 M4服务器安装centos找不到硬盘的解决方法
IBM X3650 M4服务器安装centos找不到硬盘的解决方法参考文章: (1)IBM X3650 M4服务器安装centos找不到硬盘的解决方法 (2)https://www.cnblogs. ...
adb devices 找不到设备的解决方法
adb devices 找不到设备的解决方法参考文章: (1)adb devices 找不到设备的解决方法 (2)https://www.cnblogs.com/sanshuimiao/p/7809 ...
adb devices 找不到设备的解决方法，亲测，超管用
adb devices 找不到设备的解决方法,亲测,超管用参考文章: (1)adb devices 找不到设备的解决方法,亲测,超管用 (2)https://www.cnblogs.com/sjq1 ...
Sniffer pro 找不到网卡的解决方法
很早以前就对sniffer 感兴趣,尝试安装过不同的版本,但都以失败告终,遇到的错误都是:无法找到网卡Adapter,下图: 今天要做网管实验,所以不得不再装一次,终于解决顽疾,下面是解决方法: 下面 ...
配置View桌面时找不到域的解决方法
配置View桌面时找不到域的解决方法概述:今天一个网友问我,在配置View桌面的时候,找不到域,这是在View Composer中没有配置帐户的原因. 网友2016/4/1213:50:15 老老师 ...
Spark SQL连接数据库找不到Mysql驱动解决方法
这里说明一点:本文提到的解决Spark insertIntoJDBC找不到Mysql驱动的方法是针对单机模式(也就是local模式).在集群环境下,下面的方法是不行的.这是因为在分布式环境下,加载my ...

SparkStreaming找不到reduceByKey的解决方法

SparkStreaming找不到reduceByKey的解决方法相关推荐

最新文章

热门文章