Spark交互式工具spark-shell
REPL
Read-Eval-Print-Loop,即交互式shell,以交互式方式来编程
Spark REPL
$SPARK_HOME/bin/spark-shell(scala)
$SPARK_HOME/bin/pyspark(python)
其他
Spark shell
Spark的scala REPL,支持使用scala语言来进行Spark的交互式编程
支持Spark的local,standalone,yarn client模式
启动./bin/spark-shell
内置实例化一个SparkContex对象,可以通过sc来调用
内置实例化一个SQLContext对象,可以使用sqlContext来调用查看帮助sc.\t
spark-shell运行在YARN上
登陆安装Spark那台机器
.bin/spark-shell --master yarn
(注意,这样也是yarn client模式)
spark-shell运行在YARN上(这是Spark on YARN模式)
(包含YARN client和YARN cluster)(作为补充)
登陆安装Spark那台机器
bin/spark-shell --master yarn-client
或者
bin/spark-shell --master yarn-cluster
包括可以加上其他的,比如控制内存啊等。这很简单,不多赘述。
我这里就以YARN Client演示了。
[spark@master spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master yarn-client 17/03/29 22:40:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 17/03/29 22:40:04 INFO spark.SecurityManager: Changing view acls to: spark 17/03/29 22:40:04 INFO spark.SecurityManager: Changing modify acls to: spark 17/03/29 22:40:04 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark) 17/03/29 22:40:05 INFO spark.HttpServer: Starting HTTP Server 17/03/29 22:40:06 INFO server.Server: jetty-8.y.z-SNAPSHOT 17/03/29 22:40:06 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:35692 17/03/29 22:40:06 INFO util.Utils: Successfully started service 'HTTP class server' on port 35692. Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 1.6.1/_/Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60)
Spark交互式工具spark-shell相关推荐
- 【Spark】基于Spark的大型电商网站交互式行为分析系统项目实战
1.项目背景 (1)Spark在美团的实践 美团是数据驱动的互联网服务,用户每天在美团上的点击.浏览.下单支付行为都会产生海量的日志,这些日志数据将被汇总处理.分析.挖掘与学习,为美团的各种推荐.搜索 ...
- Spark计算工具类
Vector vectors.txt 1 2.3 4.5 3 3.1 5.6 4 3.2 7.8 处理vectors.txt文件RDD[String]->RDD[Vector] package ...
- Spark面试,Spark面试题,Spark面试汇总
Table of Contents 1.你觉得spark 可以完全替代hadoop 么? 2.Spark消费 Kafka,分布式的情况下,如何保证消息的顺序? 3.对于 Spark 中的数据倾斜问题你 ...
- Spark系列之Spark在不同集群中的架构
title: Spark系列 第十二章 Spark在不同集群中的架构 Spark 注重建立良好的生态系统,它不仅支持多种外部文件存储系统,提供了多种多样的集群运行模式.部署在单台机器上时,既可以用 ...
- Spark学习之Spark初识
一.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎.Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Had ...
- Spark系列之Spark概述
title: Spark系列 What is Apache Spark™? Apache Spark™ is a multi-language engine for executing data en ...
- Spark学习之Spark调优与调试(7)
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
- Spark精华问答 | Spark的计算方法是什么?
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
- Spark 1:Spark基础入门
Spark是什么 定义:Apache Spark是用于大规模数据(large-scala data)处理的统一(unified)分析引擎. Spark 借鉴了 MapReduce 思想发展而来,保留了 ...
- Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark GraphX。
Spark四大组件包括Spark Streaming.Spark SQL.Spark MLlib和Spark GraphX.它们的主要应用场景是: Spark Streaming: Spark Str ...
最新文章
- Python之pandas读取Excel表格空值为nan的处理
- 修改python plot折线图的坐标轴刻度
- 《科学》杂志展望2020年十大科学头条
- 要获得“机器学习或数据科学”的工作,到底选哪种编程语言更好?
- python之路目录
- 高并发编程-捕获线程运行时的异常 + 获取调用链
- 微星主板超频_微星垄断AMD、Intel平台内存超频记录 ITX小板惊人
- inssider v4.3.7 key_小布翻译软件下载-小布翻译器 v2.5.1 免费版
- 域传送漏洞(vulhub)
- 自己做网站,论坛类型的
- 在新的固态硬盘只装ubuntu16.04系统,重启后无启动项解决方案
- 过磅系统更换服务器,无人值守过磅系统改造方案
- 把别人的Tcl/Tk代码加入到Go语言里2 矩形
- 内部收益率irr_爱心人寿心相随年金险,IRR内部收益率测算
- 设计模式在游戏中的应用--模板方法(七)
- 百度富文本编辑器的使用
- Java项目:高校教职工差旅报销管理系统(java+SSM+JSP+HTML+mysql)
- C# 中文乱码,转成中文
- 手把手教你微信第三方平台开发
- 地理Essay范文的组成剖析