Spark远程调试配置，在IDEA中的配置

关于Spark集群部署参考：http://blog.csdn.net/tototuzuoquan/article/details/74481570

一、Spark远程调试配置：

#调试Master，在master节点的spark-env.sh中添加SPARK_MASTER_OPTS变量
export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"
#启动Master
sbin/start-master.sh#调试Worker，在worker节点的spark-env.sh中添加SPARK_WORKER_OPTS变量
export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"
#启动Worker
sbin/start-slave.sh 1 spark://hadoop1:7077#调试spark-submit + app
bin/spark-submit --class cn.itcast.spark.WordCount --master spark://hadoop1:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://mycluster/wordcount/input/2.txt hdfs://mycluster/out2 #调试spark-submit + app + executor
bin/spark-submit --class cn.itcast.spark.WordCount --master spark://hadoop1:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://mycluster/wordcount/input/2.txt hdfs://mycluster/out2

二、编写程序进行调试

接着：

Spark远程调试配置，在IDEA中的配置相关推荐

Spark远程调试+页面监控--用最熟悉的方式开发Spark应用
大家好. 我是楼兰,持续分享最纯粹的技术内容. 大数据技术已经大行其道,但是很多人对大数据组件依然会觉得很陌生,很不顺手.对大部分人来说,环境部署.API使用其实问题都不大,技术人员最不欠缺的 ...
java spring 配置log_spring-logger spring中日志配置
默认日志 Logback: 默认情况下,Spring Boot会用Logback来记录日志,并用INFO级别输出到控制台.在运行应用程序和其他例子时,你应该已经看到很多INFO级别的日志了. 从上图可 ...
java log4j 路径配置_log4j配置文件中路径配置一般有三种方法：
log4j配置文件中路径配置一般有三种方法: (1)绝对路径法:直接配置为系统觉得路径: (2)相对路径法: log4j.appender.logfile.File=../logs/app.log,将 ...
geany配置python_Win10系统中Geany配置python环境
Win10系统中Geany配置python环境: Python运行中出现 (program exited with code: 1) 在最后面,说明代码前面有问题,可以定位到某一行来解决问题,最终没问 ...
web developer tips (47):脚本远程调试需关闭IE增强安全配置
原文地址:that front page script remote debugging requires turning off IE's Enhanced Security Configurati ...
linux mutt安装配置_Linux系统中安装配置Mutt来作为Gmail客户端
mutt是一个Linux终端下的著名的邮件客户端,如你所愿,mutt就是一个邮件客户端.没有其他浮华的功能,它可以帮助你提升效率,至于帮助你装X只能算是mutt的特殊加成. 由于mutt是一个有着un ...
常用数据库jdbc连接池的配置(在spring中的配置)
jdbc连接配置经常用到,那一串url确实不好记,这里汇总下,就好找了. oracle 各种数据库之间,一般只有驱动和url不同. 所以其他的库username,password就不写了. sprin ...
JPDA 利用Eclipse和Tomcat进行远程调试 --转
1 编辑tomcat\bin\catalina.bat ,添加 rem =============================================================== ...
在ubunut下使用pycharm和eclipse进行python远程调试
我比较喜欢Pycharm,因为这个是JetBrains公司出的python IDE工具,该公司下的java IDE工具--IDEA,无论从界面还是操作上都甩eclipse几条街,但项目组里有些人使用e ...

Spark远程调试配置，在IDEA中的配置

Spark远程调试配置，在IDEA中的配置相关推荐

最新文章

热门文章