Spark Streaming的IDEA操作在spark操作的差别和解决

Spark Streaming的IDEA操作
博客https://blog.csdn.net/qq_43688472/article/details/86499291
这里就不重复操作了

[hadoop@hadoop001 bin]$ ./spark-shell

Spark Streaming从代码写到spark上时候
val ssc = new StreamingContext(conf, Seconds(10))
在导入这个的时候
发现没有conf

scala> conf
<console>:24: error: not found: value confconf

没有发现这个conf那该如何是好呢
将conf改成sc

val ssc = new StreamingContext(sc, Seconds(10))

在操作一下

scala> import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.{Seconds, StreamingContext}scala> val ssc = new StreamingContext(sc, Seconds(10))ssc: org.apache.spark.streaming.StreamingContext = org.apache.spark.streaming.StreamingContext@6a7cbeed

但是如果非得用conf怎么办

val ssc = new StreamingContext(sc.getConf, Seconds(10))
scala> val ssc = new StreamingContext(sc.getConf, Seconds(10))
org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at:

这里会报错，显示是Only one SparkContext 只能有一个
具体可以看SPARK-2243
https://lssues.apache.org/jira/browse/SPARK-2243

那要如何解决呢

外部获取使用：conf.get(“spark…”)
内部传的话：ssc.sparkContext.getConf.get(" spark… ")
控制台上有sc/spark

拓展

编程入口点
数据接收点
数据转换点
数据输出点
虽然不用的不多，这几个点一定要看

Spark Streaming的IDEA操作在spark操作的差别和解决相关推荐

Spark Streaming 实战案例（五) Spark Streaming与Kafka
主要内容 Spark Streaming与Kafka版的WordCount示例(一) Spark Streaming与Kafka版的WordCount示例(二) 1. Spark Streaming与 ...
Spark Streaming介绍，DStream,DStream相关操作(来自学习资料)
一. Spark Streaming介绍 1． SparkStreaming概述 1.1．什么是Spark Streaming Spark Streaming类似于Apache Storm,用于流式 ...
Spark Streaming 实战案例（二) Transformation操作
本节主要内容本节部分内容来自官方文档:http://spark.apache.org/docs/latest/streaming-programming-guide.html DStream Tra ...
Spark Streaming 实战案例（四) Spark Streaming 缓存、Checkpoint机制
主要内容 Spark Stream 缓存 Checkpoint 案例 1. Spark Stream 缓存通过前面一系列的课程介绍,我们知道DStream是由一系列的RDD构成的,它同一般的RDD一 ...
Spark Streaming中的操作函数分析
参考文章:http://blog.csdn.net/dabokele/article/details/52602412 根据Spark官方文档中的描述,在Spark Streaming应用中,一个DS ...
Spark Streaming笔记整理（二）：案例、SSC、数据源与自定义Receiver
[TOC] 实时WordCount案例主要是监听网络端口中的数据,并实时进行wc的计算. Java版测试代码如下: package cn.xpleaf.bigdata.spark.java.str ...
基于大数据的Uber数据实时监控（Part 2：Kafka和Spark Streaming）
导言本文是系列文章的第二篇,我们将建立一个分析和监控Uber汽车GPS旅行数据的实时示例.在第一篇文章中讨论了使用Apache Spark的K-means算法创建机器学习模型,以根据位置聚类Uber ...
Spark Streaming实时计算框架介绍
随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐.用户行为分析等. Spark Streaming是建立在 ...
Spark Streaming学习笔记
特点: Spark Streaming能够实现对实时数据流的流式处理,并具有很好的可扩展性.高吞吐量和容错性. Spark Streaming支持从多种数据源提取数据,如:Kafka.Flume.Tw ...

Spark Streaming的IDEA操作在spark操作的差别和解决

那要如何解决呢

拓展

Spark Streaming的IDEA操作在spark操作的差别和解决相关推荐

最新文章

热门文章