如何在Hadoop2上远程调试MapReduce

1.单机安装Hadoop2.x。

2.修改mapper-site.xml配置，修改或添加对应的属性项

<name>mapreduce.framework.name</name>

<value>local</value>

</property>

<name>mapreduce.jobtracker.address</name>

<value>local</value>

</property>

<name>mapreduce.job.tracker</name>

<value>local</value>

</property>

3.修改hadoop-env.sh文件，在文件中添加如下命令：

export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=50002

注意不要写错标红色的部分。suspend表示程序启动是否中断，直到调试器连接上执行程序；address表示被调试程序打开的远程调试端口。

4.安装eclipse对应的MapReduce插件。将其直接拷贝到eclipse的plugins目录下，重启eclipse。为MapReduce插件配置Hadoop的安装路径。

5.创建一个MapReduce Project。编写相应的MapReduce程序。然后就可以像调试本地java程序一样来调试程序了。

如何在Hadoop2上远程调试MapReduce相关推荐

eclipse 远程调试mapreduce
使用环境:centos6.5+eclipse(4.4.2)+hadoop2.7.0 1.下载eclipse hadoop 插件 hadoop-eclipse-plugin-2.7.0.jar 粘贴到 ...
在Android上远程调试JavaScript
安卓下调试javascript脚本时,首先需要一个环境,一般的做法是移植一个js引擎到安卓手机里面,然后进行断点调试.这样能保证安卓下运行脚本的真实性,但手机编写代码非常不方便,编程还是在PC上方便写 ...
如何在vscode上运行调试C++（最简单的方法）
Visual Studio Code vscode同样是微软出品的,支持....看上面的vside介绍吧,就省略了(^_^) 人称宇宙第一编辑器,作为编辑器,它几乎支持所有的语言(对应语言风格的高亮, ...
如何在eclipse调试mapreduce程序
2019独角兽企业重金招聘Python工程师标准>>> 如何在eclipse或myeclipse调试mapreduce程序,这个可能是初学mr程序者碰到的一个难题在hadoop1. ...
（最新+详细+Pycharm远程调试GUI程序）解决qt.qpa.xcb: could not connect to display问题
(最新+详细+Pycharm远程调试GUI程序)解决qt.qpa.xcb: could not connect to display问题出现原因解决方法步骤下载MobaXTerm 连接服务器 ...
一路踩坑，被迫聊聊 C# 代码调试技巧和远程调试
一:背景 1. 讲故事每次项目预交付的时候,总会遇到各种奇葩的坑,我觉得有必要梳理一下以及如何快速解决的,让后来人避避坑,这篇就聊聊自己的所闻所遇: 我去,本地环境代码跑的哧溜,上了测试环境出问题 ...
Ubuntu和Mac使用gdbserver远程调试android源码
一.gdbserver在android上远程调试进程 0.关闭Enforcing # adb shell setenforce 01.拷贝gdb和gdbserver文件 <1>PC端为Cl ...
android allow usb debugging,远程调试Android设备 - Chrome 开发者工具中文文档
在Windows,Mac 或 Linux 上远程调试 Android 设备上的实时内容. TL;DR 设置你的Android设备进行远程调试,并从开发机中发现它. 从您的开发机器检查和调试Androi ...
win7安装Hadoop2.7.1 ,IDEA本地远程调试
2019独角兽企业重金招聘Python工程师标准>>> 注意:如果只想远程调试,则直接跳到第四步一.准备 1.安装包: Hadoop-2.7.1.tar.gz 下载地址:http: ...

如何在Hadoop2上远程调试MapReduce

如何在Hadoop2上远程调试MapReduce相关推荐

最新文章

热门文章