Spark REPL

文章目录

一.Scala REPL
二.Spark REPL
三.总结

一.Scala REPL

scala repl(“Read-Evaluate-Print-Loop”) 是一个交互式命令行解释器，它提供了一个测试scala代码的环境。ILoop和IMain是其核心实现。

属性

有用的REPL功能包括：
REPL的IMain绑定到$intp。
REPL的最后一个异常绑定到lastException。
使用标签完成。
用于//print<tab>显示键入的重复标记。
使用:help的命令列表。
用于:load加载REPL输入文件。
用于:paste输入类和对象作为同伴。
用于:paste -raw禁用代码包装，定义程序包。
用于:javap检查类工件。
用于使用-Yrepl-outdir外部工具检查类工件。
用于:power进入超级模式并导入编译器组件。
用于:settings修改编译器设置；一些设置要求:replay。
用于:replay以修改后的设置重播会话。

示例

import scala.tools

Spark REPL相关推荐

Apache Spark源码走读之16 -- spark repl实现详解
欢迎转载,转载请注明出处,徽沪一郎. 概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程,scala是需要编译才能执行的语言,但提供的scala repl可以实现代码 ...
【原创】大叔经验分享（65）spark读取不到hive表
spark 2.4.3 spark读取hive表,步骤: 1)hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2)enableHiveSupport Sp ...
Spark 源码分析
2019独角兽企业重金招聘Python工程师标准>>> 一. 启动篇 (一) 引子在spark-shell终端执行 val arr = Array(1,2,3,4) val rdd ...
《深入理解Spark:核心思想与源码分析》——1.2节Spark初体验
本节书摘来自华章社区<深入理解Spark:核心思想与源码分析>一书中的第1章,第1.2节Spark初体验,作者耿嘉安,更多章节内容可以访问云栖社区"华章社区"公众号查看 ...
Spark快速上手-WordCount案例
在此之前,我已经用MapReduce 框架实现了WordCount案例,接下来,我开始学习数据处理的另外一个非常重要的方法:Spark.首先,使用WordCount案例实现Spark快速上手. 创建M ...
spark代码中添加logger_Spark的日志配置
在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群 ...
【开发工具】Spark Shell 的使用
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/u010416101/article/d ...
spark设置分区（并行度）：保存分区信息文件
代码 package com.atguigu.bigdata.spark.core.rdd.builderimport org.apache.spark.rdd.RDD import org.apac ...
spark on yarn 配置及异常解决
转载请务必注明原创地址为:https://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器,它可以让多种 ...

Spark REPL

文章目录

一.Scala REPL

Spark REPL相关推荐

最新文章

热门文章