Hadoop大数据之Debug

为什么要学习远程debug？
以前都是在一个进程进行debug

hadoop很多进程，是一个集群，想调试某一个集群，要通过远程debug调试。hadoop是很多进程

JPDA简介
........

怎样配置远程调试
dt_socket 表示使用套接字传输
address=8000
server=y
suspend=y
需要在$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中：
#远程调试namenode
export HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y(运行的时候将被挂起)"
#远程调试datanode
export HADOOP_DATANODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=9888,server=y,suspend=y(运行的时候将被挂起)"

修改完成后重新启动
stop-dfs.sh

start-dfs.sh

jps

[root@hadoop1 ~]# jps
4400 ResourceManager
31708 -- main class information unavailable
31791 -- main class information unavailable
4492 NodeManager
2906
31900 SecondaryNameNode
32001 Jps

为什么不显示main class的信息呢？
因为main class 已经被挂起

在windows下进行调试

windows开启eclipse
只要eclipse中有源码

NameNode.class 找到main方法 debug Configuration Name:XXXX Host:192.168.8.101 Port:8888 debug

通过jps查看，发现namenode已经启动

然后找到DataNode.class
Host:192.168.8.101 Port:9888 debug

jps
已经启动datanode

sbin下面 hadoop-daemon.sh 单独启动一个hadoop进程
hadoop-daemon.sh start datanode 启动datanode进程

---------------------------------------------------
NameNodeRpcServer.class
找到 getBlockLocations
这是服务端，客户端调用的时候会进来

debug HDFSDemo.java

转载于:https://www.cnblogs.com/muziyushao/p/4248226.html

Hadoop大数据之Debug相关推荐

Hadoop大数据从入门到精通-任亮-专题视频课程
Hadoop大数据从入门到精通-48021人已学习课程介绍 Hadoop分布式文件系统(HDFS)和MapReduce的工作原理如何优化Hadoop机群所需要的硬件配置搭建Had ...
Hadoop大数据零基础高端实战培训系列配文本挖掘项目
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦课程分类:大数据适合人群:初级课时数量:230课时用到技术:部署Hadoop集群涉 ...
hadoop大数据平台架构之DKhadoop详解
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战.Hadoop作为一个开源的分布式并行处理平台,以其高拓展. ...
R+Hadoop大数据方案有哪些坑？
摘要: 为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草.R:R的应用场景不在于无与伦比的统计 ...
Hadoop大数据平台环境搭建注意事项，分布式数据采集，武汉数道云科技
Hadoop大数据作为时代发展的产物,影响着互联网企业发展.以及企业关于品牌形象推广.政府有关民意采集.以及有关数据信息收集分类------ Hadoop技术的发展,带来了海量数据高效处理的能力,也给 ...
Hadoop大数据技术复习资料
Hadoop大数据技术复习资料钟兴宇 1.选择题15空,共30分. Hadoop以HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)和MapR ...
大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
Hadoop大数据原理(3) - 分布式计算框架MapReduce
文章目录 1. 大数据的通用计算 2 MapReduce编程模型 3. MapReduce计算框架 3.1 三类关键进程大数据应用进程 JobTracker进程 TaskTracker进程 3.2 ...
初识大数据--Hadoop大数据平台架构与实践
Hadoop大数据平台架构与实践推荐书籍: ⭐大数据存储与处理技术的原理(理论) ⭐Hadoop的使用和开发能力(实践) 预备知识: Linux常用命令 Java基础编程 1.大数据相关概念无 ...
八大行业Hadoop大数据应用回顾和展望
任何新技术的发展都会经历一个从被公众了解到最终普遍应用的过程.大数据技术作为一个新兴的数据处理技术,经过了近十年的发展,刚刚开始在各个行业得到应用.但从媒体和公众视野中,大数据技术总是带有神秘的色彩, ...

Hadoop大数据之Debug

Hadoop大数据之Debug相关推荐

最新文章

热门文章