Spark程序的开始 SparkContext 源码走一走

什么是SparkContext

IDEA中看看源码
**

Main entry point for Spark functionality. A SparkContext represents the connection to a Spark
cluster, and can be used to create RDDs, accumulators and broadcast variables on that cluster.
Only one SparkContext may be active per JVM. You must stop() the active SparkContext before
creating a new one. This limitation may eventually be removed; see SPARK-2243 for more details.

什么是SparkConf

/**

Configuration for a Spark application. Used to set various Spark parameters as key-value pairs.
Most of the time, you would create a SparkConf object with new SparkConf(), which will load
values from any spark.* Java system properties set in your application as well. In this case,
parameters you set directly on the SparkConf object take priority over system properties.
For unit tests, you can also call new SparkConf(false) to skip loading external settings and
get the same configuration no matter what the system properties are.
All setter methods in this class support chaining. For example, you can write
new SparkConf().setMaster("local").setAppName("My app").

Spark的官网：http://spark.apache.org/docs/2.4.0/rdd-programming-guide.html
使用的是spark2.4.0版本
这里不得说一句：spark的官网写的是非常好的，还有就是源码虽然很枯燥，但是很有用处

IDEA 上面操作一下吧

ackage Spark.learningobject SparkContextApp {def main(args: Array[String]): Unit = {import org.apache.spark.{SparkConf, SparkContext}val sparkConf = new SparkConf().setMaster("local[2]").setAppName("SparkContextApp")val sc =  new SparkContext(sparkConf)sc.stop()}}

其中

这里是Windows系统都存在的问题，可以忽略掉的

下面Ok就可以了
希望你有一个好的开始

详解：Spark程序的开始 SparkContext 源码走一走相关推荐

Spark详解（七）：SparkContext源码分析以及整体作业提交流程
1. SparkContext源码分析在任何Spark程序中,必须要创建一个SparkContext,在SparkContext中,最主要的就是创建了TaskScheduler和DAGSchedul ...
BMP180气压传感器详解与示例（STM32 附带源码）
BMP180气压传感器详解与示例(STM32 附带源码) 简介工作模式校准数值测试流程第一步:微处理器读取校准数值第二步:读取温度.气压初始值第三步:计算温度.气压第四步:计算海拔高度 ...
Java API源码在哪里找_详解查看JAVA API及JAVA源码的方法
在java的日常学习中,我们有时候会需要看java的api说明,或者是查看java的源码,使我们更好的了解java,接下来我就来说说如何查看java的api以及java源码对于java的api,一般 ...
vue 源码详解（零）：Vue 源码流程图
vue 源码详解(零):Vue 源码流程图最近在研究 Vue 的源码, 整理博客, 结果想到的.看到的内容实在是太多了, 不知道从何写起, 故整理了一个大致的流程图,根据这个顺序进行一一整理. 为了 ...
深入浅出Mybatis系列（四）---配置详解之typeAliases别名（mybatis源码篇）
上篇文章<深入浅出Mybatis系列(三)---配置详解之properties与environments(mybatis源码篇)> 介绍了properties与environments, ...
CANOpen协议详解（一）：CANfestival源码分析
CANFestival-3源码详解一:重要结构体有几点需要说明: 1.使用的是官网下载的canfestival-3源代码,下载的压缩包文件名是:Mongo-canfestival-3-asc-1a2 ...
Spring配置详解，Spring配置元信息详解，Spring配置大全及源码分析
文章目录一.Spring都可以配置哪些元信息二.Spring Bean 配置元信息 1.GenericBeanDefinition 2.RootBeanDefinition 3.Annotated ...
@Transactional的用法详解及Transactional事务无效的源码分析
数据库事务正确执行的四要素 1.原子性事务是不可分割的最小的工作单元,事务内的操作要么全做,要么全不做,不能只做一部分. 2.一致性事务执行前数据库的数据按照逻辑处于正确的状态,事务执行后数据库的 ...
最新ChatGPT GPT-4 相似匹配Embedding技术详解（附ipynb与python源码及视频讲解）——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册（一）
目录前言最新ChatGPT GPT-4 相似匹配Embedding技术详解 1. 何为Embedding 2. 相关API 2.1 LMAS Embedding API 2.2 ChatGPT S ...

详解：Spark程序的开始 SparkContext 源码走一走

Spark程序的开始 SparkContext 源码走一走

什么是SparkContext

什么是SparkConf

IDEA 上面操作一下吧

其中

详解：Spark程序的开始 SparkContext 源码走一走相关推荐

最新文章

热门文章