82-Spark的StandLone模式调试

1。windows下测试Standlone模式，代码如下


object LocalCluster extends java.io.Serializable {def main(args: Array[String]): Unit = {System.setProperty("SPARK_HOME", "F:\\002-spark\\jiqun\\spark-2.1.1-bin-hadoop2.7");// 本地模式运行,便于测试val sparkConf = new SparkConf().setMaster("spark://192.168.10.84:7077").setAppName("aa").setJars(Seq("F:\\002-spark\\00-IDEAWork\\SparkOnHbaseScala\\out\\artifacts\\SparkOnHbaseScala_jar\\SparkOnHbaseScala.jar"))val sc = new SparkContext(sparkConf)val datas = Array(1, 2, 3, 7, 4, 5, 8)var s = sc.parallelize(datas)println(s.count())}
}

开始测试的时

82-Spark的StandLone模式调试相关推荐

Spark的Local模式及案例
Spark的Local模式及案例基本概念 Local模式搭建 1. 解压缩文件 2.修改文件名启动 Local 环境 WordCount案例 1.添加文件 2.执行命令 3.结果截图测试Spar ...
跟我一起学【Spark】之——Spark调优与调试
第8章 Spark调优与调试 1.总结Spark的配置机制 2.理解Spark应用性能表现的基础知识.设置相关配置项.编写高性能应用设计模式 3.探讨Spark的用户界面.执行的组成部分.日志机制 8 ...
设置Eclipse可以Debug模式调试JDK源码，并显示局部变量的值
最近突然萌发了研究JDK源码的想法,所以就想到了在自己常用的Eclipse上可以调试JDK源码. 整个设置过程也很简单: 首先你要安装好JDK(我的JDK安装路径根目录是D:\Java\jdk-8u9 ...
Spark on Yarn 模式编写workcount实例
Spark on Yarn 模式编写workcount实例一:上传输入文件到hadoop,本例上传的文件名为spark.txt 二:打包程序,打包名为:Spark-0.0.1-SNAPSHOT.ja ...
spark中local模式与cluster模式使用场景_Spark 知识点 ( 架构 RDD Task )
1. Spark介绍 Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一 ...
Spark学习之Spark调优与调试（7）
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
Spark 独立部署模式
2019独角兽企业重金招聘Python工程师标准>>> Spark 独立部署模式博客分类: spark 除了在 Mesos 或 YARN 集群上运行之外, Spark 还提供一个简 ...
Spark基础学习笔记06：搭建Spark On YARN模式的集群
文章目录零.本讲学习目标一.在Spark Standalone模式的集群基础上修改配置二.运行Spark应用程序 (一)启动Hadoop的HDFS和YARN (二)运行Spark应用程序 (三) ...
学会使用debug模式调试代码
在企业开发中,质量和效率显得尤为重要.学会通过debug模式调试代码是每一个开发的必修课.下面我通过一个案例来描述一下如何来调试.跟踪代码. 步骤:在接口或方法的入口打上调试端点,如下所示. 通过&q ...

82-Spark的StandLone模式调试

1。windows下测试Standlone模式，代码如下

82-Spark的StandLone模式调试相关推荐

最新文章

热门文章