Eclipse远程调试HDP源代码

使用的是自己编译的HDP2.3.0的源代码编译的集群，此文介绍如何使用Eclipse远程调试Hadoop内核源代码，以调试namenode为例进行介绍。

在/usr/hdp/2.3.0.0-2557/hadoop-hdfs/bin/hdfs.distro 目录下，添加如下内容，这个内容是让namenode在启动的时候，打开调试模式：

图片中的代码是（不要写错了）：

HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8002,server=y,suspend=n"

然后使用脚本启动namenode进程：

[root@n124 sbin]# ./hadoop-daemon.sh --script hdfs start namenode
starting namenode, logging to /var/log/hadoop/root/hadoop-root-namenode-n124.ccsdp.com.out
Listening for transport dt_socket at address: 8002
[root@n124 sbin]# jps
7635 NameNode
7744 Jps
1944 AmbariServer
[root@n124 sbin]# pwd
/usr/hdp/2.3.0.0-2557/hadoop/sbin

这样设置以后，NameNode这个进程会监听两个端口，其中一个就是8002，如下图：

Eclipse中的设置如下，Debug-> Debug configurations->Remote Java Application

在eclipse中，如下位置打一个端点：

设置好Eclipse后，在shell中，使用命令行在hdfs中创建一个文件夹：

[root@n124 sbin]# hadoop fs -mkdir /user/root/zhangchao

可以看到Eclipse中的代码进入调试模式，然后就可以一步一步的进行调试，查看到每一步运行的情况：

调试的过程中，将Eclipse的进程优先级设置成Very high，可以让Eclipse的反映快不少，如果用默认的优先级，Eclipse将会非常卡：

在调试的过程中，发现ipc/Server.java这个文件中的，run方法，会不断的监听来自datanode的心跳数据，这个地方如果打上端点，会不断的被中断：

在Shell上，创建一个目录 hadoop fs -mkdir /user/zhangchao/32，然后可以在调试的过程中，发现ClientProtocol.mkdirs从客户端传递到server:

转载于:https://www.cnblogs.com/justinzhang/p/5301140.html

Eclipse远程调试HDP源代码相关推荐

使用 Eclipse 远程调试 Java 应用程序
转载地址:使用 Eclipse 远程调试 Java 应用程序远程调试对应用程序开发十分有用.例如,为不能托管开发平台的低端机器开发程序,或在专用的机器上(比如服务不能中断的 Web 服务器)调试程序 ...
ECLIPSE远程调试出现如下问题 ECLIPSE中调试代码提示找不到源
ECLIPSE远程调试出现如下问题 ECLIPSE中调试代码提示找不到源如此提示是由于没有JAR包中找不到MAIN,可以手动添加或自己修改利用ECLIPSE填写JAR中的MAIN方法后,就可以调 ...
Spring Boot 实用开发技巧————Eclipse 远程调试
引言在之前的开发当中,都会进行本地项目启动,然后向本地服务发起请求来进行 Debug 调试代码,这也是开发人员最常见的调试操作.但是当项目逐渐成型,慢慢的将各个模块部署到服务器后,调试的手段可能就仅 ...
Eclipse远程调试Java代码的三种方法
Eclipse远程调试Java代码的三种方法, 第1种方法是用来调试已经启动的Java程序,Eclipse可以随时连接到远程Java程序进行调试, 第2种方法可以调试Java程序启动过程,但是Ecli ...
用Eclipse远程调试部署在Tomcat下的Web应用程序
今天同事告诉了我一个用Eclipse远程调试部署在Tomcat下的Web应用程序的方法: 安装解压版本的Tomcat,因为现在好像Tomcat的Windows安装版目录下没有catalina.sh(. ...
eclipse远程调试两种模式
2019独角兽企业重金招聘Python工程师标准>>> eclipse远程调试两种模式: 一.服务端监听 (1)服务器端需执行程序前加参数 -Xdebug -Xrunjdwp:tr ...
eclipse远程调试jar包
eclipse如何进行远程调试? 1.启动jar包,带上如下参数执行 java -Xdebug -Xrunjdwp:transport=dt_socket,address=8080,server=y, ...
eclipse 远程调试java_Eclipse远程调试Java代码的三种方法
Eclipse远程调试Java代码的三种方法, 第1种方法是用来调试已经启动的Java程序,Eclipse可以随时连接到远程Java程序进行调试, 第2种方法可以调试Java程序启动过程,但是Ecli ...
eclipse远程调试失败
客户端和服务器端在安装配置好JDK,实现JPDA的远程调试,但是我尝试了5天一直不能正常访问实现. 现状: 1.本地调试没有问题,内网调试可以进行(证明调试方法正确) 2.通过示例程序得到服务器端口能 ...

Eclipse远程调试HDP源代码

Eclipse远程调试HDP源代码相关推荐

最新文章

热门文章