java 远程调试spark_spark开启远程调试

一.集群环境配置

#调试Master，在master节点的spark-env.sh中添加SPARK_MASTER_OPTS变量

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

#调试Worker，在worker节点的spark-env.sh中添加SPARK_WORKER_OPTS变量

export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"

#调试spark-submit + app

bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2

#调试spark-submit + app + executor

bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2

二.idea配置

在我们的idea中，添加两个Remote启动项

重要的时刻来了，我们先启动调试Master，并加上属于Master代码的断点：

可以看到，idea已经连接到了我们Cluster中的Master机器的10000端口，而这正是我们在集群中配置的端口。同理启动Slave1(Worker)

java 远程调试spark_spark开启远程调试相关推荐

php连接远程mysql_MySQL如何开启远程连接？
开启MySQL的基本语法是grant授权,这个一般都没有什么问题,主要是开启之后可能还是连接不上 GRANT ALL PRIVILEGES ON 库名.表名 TO 用户名@'IP地址' IDENTIF ...
mysql 本地连接不上远程，如何开启远程连接
安装好mysql之后,本机可以用root账号成功连接,但是无法远程连接的解决办法: 首先在本机查询mysql库中的user表,可以看到root目前只支持localhost本机连接: select `u ...
计算机如何启动远程服务,Win7如何开启远程桌面服务
## 1.首先打开桌面**"计算机"**图标,右键属性打开计算机属性菜单,如下图 ![Win7系统怎么开启远程桌面?Win7远程桌面怎么用](http://file.song-z. ...
Windows10 home 家庭版开启远程桌面
目录开启远程桌面服务下载RDP Wrapper 安装RDP Wrapper 配置防火墙打开防火墙配置允许使用远程桌面访问端口3389的防火墙放行规则确认配置状态其他问题侦听器状态不对 W ...
idea java 远程调试_使用idea开启远程调试
jar程序运行在远程服务器上出现错误,又没有明确的错误日志能够查看得到,无从下手?这篇文章获取可以帮助一二. 这里我来分享一种通过idea实现远程调试的方法,几个及其简单的操作就可以使我们定位远程服务 ...
tomcat开启远程调试功能
在日常开发中,有时需要对远程服务器上的应用进行远程调试,对于tomcat,要进行远程调试其实很简单,只需要在启动tomcat时开启jpda服务即可. 什么是JPDA呢? JPDA(Java Platf ...
「小程序JAVA实战」小程序远程调试（九）
在开发javaweb应用的时候,如果遇见一个问题都会调试,debug,在火狐和谷歌浏览器的时候我们也可以使用断点的方式调试js,小程序可以吗?肯定是可以的!小程序的调试也可以在手机端进行远程调试.源码 ...
java 远程调试超时_java 远程调试
参考: 1. 远程调试普通程序程序打成 jar 包,使用命令行执行: java -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport= ...
java 远程调试端口_JAVA远程调试
1.远程端启动必须添加jvm参数 -Xdebug -Xrunjdwp:transport=dt_socket,suspend=n,server=y,address=${debug_port} 其中de ...

java 远程调试spark_spark开启远程调试

java 远程调试spark_spark开启远程调试相关推荐

最新文章

热门文章