SparkContext转化为JavaSparkContext

引言
自动Spark2.0发布以来，官方最开始推荐的代码由

final SparkConf conf = new SparkConf().setMaster("local").setAppName("---");
final JavaSparkContext ctx = new JavaSparkContext(conf);

这种形式转化成为了

SparkSession spark = SparkSession
.builder()
.master("local")
.appName("---")
.getOrCreate();

这种形式，但是这样对于Java程序员有一定问题。

问题
当我们使用Java语言进行编程的时候，尤其是需要对文本文件进行textFile读取的时候，容易产生类型错误，这样的原因是因为由上面代码实例化的spark调用sparkContext()方法获取的context对象是scala的SparkContext对象，而不是我们最开始的手动方法获取的JavaSparkContext对象。
所以，当我们调用textFile方法的时候，返回的数据类型为RDD而不是JavaRDD。

解决方法
JavaRDD<String> text =
JavaSparkContext.fromSparkContext(spark.sparkContext())
.textFile("path");

SparkContext转化为JavaSparkContext相关推荐

Spark常用RDD算子 - saveAsTextFile、saveAsObjectFile 可保存到本地文件或hdfs系统中
saveAsTextFile 函数原型 def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: C ...
Python+大数据-Spark技术栈(二)SparkBaseCore
Python+大数据-Spark技术栈(二)SparkBase&Core 学习目标掌握SparkOnYarn搭建掌握RDD的基础创建及相关算子操作了解PySpark的架构及角色环境搭建 ...
spark读取csv转化为rdd(python+scala+java三种代码汇总)
--------------------------------------------------------------------基本信息---------------------------- ...
3 pyspark学习---sparkContext概述
1 Tutorial Spark本身是由scala语言编写,为了支持py对spark的支持呢就出现了pyspark.它依然可以通过导入Py4j进行RDDS等操作. 2 sparkContext (1) ...
Spark源码分析之SparkContext
SparkContext是用户和Spark集群交互的唯一入口,它的主要是有两个: # 可以用来创建RDD,累加器和广播变量 # 初始化应用程序所需要的核心组件,为应用程序准备运行环境只可以有一个Sp ...
An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
最近公司上云,所有大数据环境都迁移到云上.在进行项目迁移时候发现运行报错 py4j.protocol.Py4JJavaError: An error occurred while calling No ...
ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not pars
ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not pars ...
Go 学习笔记（47）— Go 标准库之 strconv（string/int 互相转换、Parse 字符串转换为指定类型、Format 指定类型格式化为字符串）
参考: http://c.biancheng.net/view/5112.html 在实际开发中我们往往需要对一些常用的数据类型进行转换,如 string . int . int64 . float ...
将Byte数组转化为String
FCL得很多方法的返回值都是包含字符的Byte数组而不是返回一个String,这样的方法包含在如下的类中: · System.Net.Sockets.Socket.Receive · System.N ...

SparkContext转化为JavaSparkContext

SparkContext转化为JavaSparkContext相关推荐

最新文章

热门文章