hadoop远程调试

JPDA 简介
Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和前端）组成。它的设计目的是让调试人员在任何环境中都可以进行调试。
更详细的介绍，您可以参考使用 Eclipse 远程调试 Java 应用程序
JDWP 设置
JVM本身就支持远程调试，Eclipse也支持JDWP，只需要在各模块的JVM启动时加载以下参数：

dt_socket表示使用套接字传输。
address=8000
JVM在8000端口上监听请求，这个设定为一个不冲突的端口即可。
server=y
y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y
y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。

需要在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件的最后添加你想debug的进程

#远程调试namenode
export HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"
#远程调试datanode
export HADOOP_DATANODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y"

#远程调试RM
export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

#远程调试NM

export YARN_NODEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,address=10888,server=y,suspend=y"

hadoop远程调试相关推荐

hadoop远程调试所遇到的一些异常
hadoop远程调试所遇到的一些异常问题一: 抛异常:java.io.IOException: Failed on local exception: com.google.protobuf.Inv ...
linux远程hadoop,远程调试Hadoop
在调研JobTracker等异常问题时经常需要远程debug以实现单步跟踪.相对于打印日志,远程调试更方面更快捷,信息也更全面.这里列出远程调试的基本步骤. 1.配置jvm选项启用远程debug Ha ...
远程调试Hadoop
2019独角兽企业重金招聘Python工程师标准>>> 如何远程调试Hadoop 在调研JobTracker等异常问题时经常需要远程debug以实现单步跟踪.相对于打印日志,远程调试 ...
eclipse远程调试Tomcat, Hadoop集群等
主导是JPDA(Java Platform Debugger Architecture), 它支持java中的各种调试,由两个接口(JVM Tool Interface和JDI).一个协议(JDWP) ...
Hadoop 使用IntelliJ IDEA 进行远程调试代码
. 一 .前言二 .服务器端配置. 2.1. 设置启动远程debug端口 2.2. 具体操作三 .Idea配置 3.1. 根据报错信息定位到断点所在的位置 3.2. 配置远程连接 3.3. 启动调 ...
Eclipse远程调试HDP源代码
使用的是自己编译的HDP2.3.0的源代码编译的集群,此文介绍如何使用Eclipse远程调试Hadoop内核源代码,以调试namenode为例进行介绍. 在/usr/hdp/2.3.0.0-2557/ ...
如何在Hadoop2上远程调试MapReduce
1.单机安装Hadoop2.x. 2.修改mapper-site.xml配置,修改或添加对应的属性项 <property> <name>mapreduce.framework. ...
eclipse 远程调试mapreduce
使用环境:centos6.5+eclipse(4.4.2)+hadoop2.7.0 1.下载eclipse hadoop 插件 hadoop-eclipse-plugin-2.7.0.jar 粘贴到 ...
使用 Eclipse 远程调试 Java 应用程序
转载地址:使用 Eclipse 远程调试 Java 应用程序远程调试对应用程序开发十分有用.例如,为不能托管开发平台的低端机器开发程序,或在专用的机器上(比如服务不能中断的 Web 服务器)调试程序 ...
Spark远程调试+页面监控--用最熟悉的方式开发Spark应用
大家好. 我是楼兰,持续分享最纯粹的技术内容. 大数据技术已经大行其道,但是很多人对大数据组件依然会觉得很陌生,很不顺手.对大部分人来说,环境部署.API使用其实问题都不大,技术人员最不欠缺的 ...

hadoop远程调试

hadoop远程调试相关推荐

最新文章

热门文章