spark-shell 基本用法

spark-shell 是 scala 语言的 REPL（Read-Eval-Print-Loop，通俗地理解就是命令行模式）环境，同时针对 spark 做了一些拓展。

退出 spark-shell：scala> :quit

0. 常见参数

--master spark://xx:7077：指定master节点；
--executor-memory 512m：每一个执行节点所需的内存；
--total-executor-cores 2：集群用到的 CPU 核数；

1. 启动 spark-shell 的方法

本机
```
$ spark-shell --master local[N]
$ spark-shell --master local[*]
```
通过设定local[N]参数来启动本地 Spark 集群，其中 N 表示运行的线程数，或者用 * 表示使用机器上所有可用的核数。

在本地模式设定内存，如设置本地进程使用 2GB 内存。
```
$ spark-shell --driver-memory 2g --master local[*]
```
启动在 hdfs 上
在 yarn 上启动

如果你有一个 hadoop 集群，并且 hadoop 版本支持 yarn，通过为 Spark master 设定 yarn-client 参数值，便可在集群上启动 spark 作业：
```
$ spark-shell --master yarn-client
```

spark-shell 基本用法相关推荐

【开发工具】Spark Shell 的使用
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/u010416101/article/d ...
Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）
1． JDBC Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中. 1.1．从MySQ ...
启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
1.启动Spark Shell spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用scala编写spark程序.要注意的是要启动Spark-S ...
《循序渐进学Spark》一1.6　使用Spark Shell开发运行Spark程序
本节书摘来自华章出版社<循序渐进学Spark>一书中的第1章,第1.6节,作者小象学院杨磊,更多章节内容可以访问云栖社区"华章计算机"公众号查看. 1.6 使用S ...
02、体验Spark shell下RDD编程
02.体验Spark shell下RDD编程 1.Spark RDD介绍 RDD是Resilient Distributed Dataset,中文翻译是弹性分布式数据集.该类是Spark是核心类成员之 ...
启动spark shell
spark集群安装教程:http://blog.csdn.net/zengmingen/article/details/72123717 启动spark shell. 在spark安装目录bin文件夹 ...
spark mysql 写_Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）...
1． JDBC Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中. 1.1．从MySQ ...
在Scala IDEA for Eclipse或IDEA里程序编译实现与在Spark Shell下的对比（其实就是那么一回事）...
不多说,直接上干货! 比如,我这里拿主成分分析(PCA). 1.主成分分析(PCA)的概念介绍主成分分析(PCA) 是一种对数据进行旋转变换的统计学方法,其本质是在线性空间中进行一个基变换,使得变换 ...
使用Spark Shell开发运行Spark程序
使用Spark Shell开发运行Spark程序 Spark Shell是一种学习API的简单途径,也是分析数据集交互的有力工具. 虽然本章还没涉及Spark的具体技术细节,但从总体上说, Spark ...
spark shell
spark shell local模式启动 # spark-shellSpark context Web UI available at http://192.168.xx.101:4041 Spar ...

spark-shell 基本用法

0. 常见参数

1. 启动 spark-shell 的方法

spark-shell 基本用法相关推荐

最新文章

热门文章