(2)Spark下载与入门
2.1 Spark核心概念简介
驱动器程序通过一个SparkContext对象来访问Spark。这个对象代表对计算集群的一个连接。shell启动时已经创建了一个SparkContext对象,是一个叫做sc的变量。一旦有了SparkContext,你就可以用它来创建RDD。要执行这些操作,驱动器程序一般要管理多个执行器(executor)节点。
2.2 Spark的独立应用
我们的Spark除了交互式运行之外,Spark也可以在Java,Scala或Python的独立程序中被连接使用。这与在shell中使用的主要区别在于你需要自行初始化SparkContext。
Java和Scala
在Java和Scala中,只需要给你的应用添加一个对于spark-core工件的Maven依赖。Maven是一个流行的包管理工具,可以用于任何基于Java的语言,让你可以连接公共仓库中的程序库。
Python
在Python中,你可以把应用写成Python脚本,但是需要使用Spark中的bin\spark-submit脚本来运行。spark-submit脚本会帮我们引入Python程序的Spark依赖。这个脚本为Spark的PythonAPI配置好了运行环境。
一旦完成了应用于Spark的连接,接下来就需要在你的程序中导入Spark包并且创建SparkContext。你可以通过先创建一个SparkConf对象来配置你的应用,然后基于这个SparkConf创建一个SparkContext对象。
1 from pyspark import SparkConf, SparkContext 2 conf = SparkConf().setMaster("local").setAppName("My App") 3 sc = SparkContext(conf = conf)
以上例子展示了创建SparkContext的最基本的方法,你只需要传递两个参数:
集群url:告诉Spark如何连接到集群上,在上面的例子中使用的是local,这个特殊值可以让Spark运行在单机单线程上而无需连接到集群
应用名:在例子猴子那个我们使用的是my app。当连接到一个集群时,这个值可以帮助你在集群管理器的用户界面中找到你的应用。
关闭Spark:
stop() System.exit(0) sys.exit()
转载于:https://www.cnblogs.com/cyoutetsu/p/6344414.html
(2)Spark下载与入门相关推荐
- 基于STM32MP157的鸿蒙学习(一)— 资料下载及入门
基于STM32MP157的鸿蒙学习(一)- 资料下载及入门 一.前言 本系列学习根据韦东山老师的鸿蒙课程,使用的开发板也是百问网的100ASK_STM32MP157 Pro开发板. 其核心板资源如下所 ...
- 嵌入式linux单片机视频教程下载从入门到精通分享
嵌入式linux单片机视频教程下载从入门到精通分享 视频教程下载地址
- Spark工作原理入门
Spark工作原理入门 文章目录 Spark工作原理入门 1.功能概要 基本描述 运用场景 实际使用 2.模块组成 HDFS MLlib Mesos Tachyon GraphX Spark SQL ...
- Spark下载和安装(学习笔记)
夫君子之行,静以修身,俭以养德,非淡泊无以明志,非宁静无以致远. 夫学须静也,才须学也,非学无以广才,非志无以成学.淫慢则不能励精,险躁则不能冶性. 年与时驰,意与日去,遂成枯落,多不接世,悲守穷庐, ...
- 大数据求索(8):Spark Streaming简易入门一
大数据求索(8):Spark Streaming简易入门一 一.Spark Streaming简单介绍 Spark Streaming是基于Spark Core上的一个应用程序,可伸缩,高吞吐,容错( ...
- smarty下载及入门教程(转)
smarty下载及入门教程(转) 2009-06-24 09:46 smarty下载: Smarty 2.6.18 Source March 7th, 2007 Smarty 2.6.17 Sourc ...
- 笔记 | spark安装及入门会遇到哪些坑
spark 前言 spark安装注意事项 一些warning&bug 1. SLF4J: Class path contains multiple SLF4J bindings. 2. Pat ...
- Spark大数据分析入门笔记
目录 二.Spark特征 三.Spark整体工作流程 四.Spark运行方式 五.Spark SQL 1.Spark SQL兼容性 2.Spark SQL编码方式tips 3.Spark SQL数据格 ...
- Spark部署模式入门
部署模式概述 Spark支持的主要的三种分布式部署方式分别是standalone.spark on mesos和 spark on YARN. standalone模式 即独立模式,自带完整的服务,可 ...
最新文章
- golang:mime.Decode、mime.DecodeHeader
- android自定义模态框,安卓开发自定义弹出框的简单方式(纯代码布局)
- linux查看mariadb安装卸载,MySQL——在Linux下安装和卸载MariaDB
- 分享一个SQL文件的合并的小程序
- 调用Kubernetes SDK实现二次开发
- ReportView使用
- Centos 7 学习加入用户
- Kconfig 和 Kbuild
- 百度网盘合集 没有不够全 只有你网盘不够大!!!
- 使用nat123动态解析公网ip
- initializationerror错误的解决
- 机器学习系列-- 异常检测(Anomaly Detection)
- 【图解数据结构与算法】视频教程正式上线B站,持续更新中......
- Sublime Text 3 简体中文汉化包使用方法
- 自制AVA数据集工具/slowfast模型训练数据集制作
- JAVA list实现对象的灵活查找
- matlab spm批量配准
- python的关系运算符可以连续使用_在Python中,关系运算符可以连续使用,例如15等价于13and35....
- 【Unity】一个使用Dorween实现的血量条显示与血量变化
- Google浏览器、firefox浏览器、IE浏览器每次访问自动最新网页