1、困难

在实际业务场景中，目前现有的框架在很大情况下可能不能满足现有的需求，用代码进行二次开发就是最好的选择。在一开始进行的时候，根本无从下手是一方面，因为源码的量特别大，如果是在官方的源码中，基本上是没有注解的，有的一般也是对方法的总体概述以及参数的介绍，往往困难是源码中的某一步我们理解不了，导致整个流程无法理解是一方面。另一方面是如何阅读源码，用什么来阅读源码。对于java开发者来说，我们在ide集成开发工具中从maven仓库中引入的依赖就是一个个jar包，打开jar包我们可以直接看的到源码，但是却不能修改。当然这里有一个办法就是从官网下载源码包然后在源码的右上角可以选择本地jar包这样便可以修改了，但是实际上修改完之后还是使用的是maven引入的jar包依赖，如果想实现自定义jar包，便只能自己引入第三方jar包，而不是从maven仓库中下载。

2、解决方案

在Hadoop大家族中，我们有非常多的组件，而Hadoop官方的安装包中只是集成了其中的一小部分。

1、了解安装包的目录

bin：使用hdfs和mapreduce时，常用的Hadoop命令目录。

sbin：管理员常用命令目录，主要用于启动和停止集群。

etc：存放Hadoop的配置文件的目录

include：C语言写的一些工具类

lib：存放Hadoop的本地库文件（对数据进行压缩解压功能）

libexec：存放hadoop配置环境的一些文件

share：本次的主角，存放Hadoop的依赖jar包，在集群运行时所有的一切都来源于这里。

所以要想对Hadoop进行二次开发，我们就必须要更换share目录中的jar包，这里可以根据实际需求替换掉相应的jar包，比如Mapreduce中的各种jar包。

2、更换jar包

在博主初期修改jar包时，首先碰到的难题就是jar包是一种压缩格式，我们可以轻松的把他解压，但是在打包时会遇到各种压缩软件将它打包成zip的格式，查阅了各种资料最多的说就是说可以先打成zip形式，然后改后缀名的格式，当然这种是完全行不通的。只有一种办法便是不要解压缩，直接在jar包上进行添加删除操作。这里推荐两种软件。

mac版本 betterzip
Windows版本 winRAR

打开jar包之后我们可以发现，里面都是经过编译器处理之后的class文件，这里便碰到了第二个困难，就是如何打开class文件。当然这里有很多反编译工具，比如说jdGui，当然我们最常用的还是ide，再者比如说我碰到了一个类，在经过编译之后形成了4个class文件，所以如果在相当不熟悉源码文件的时候，不太建议用class文件进行反编译。

最推荐的方法还是先经过ide进行源码阅读，然后找到目标的包或者类，将其复制到ide中进行开发，当然其中肯定会报错，因为少了各种各样的包，这里可以经过maven引入相关的依赖。

当修改完目标类或者包之后，将其进行编译，然后找到ide对应的目录将class文件取出，经由上述两款软件直接进行替换，而不是解压再压缩，最后更换至Hadoop目录下的share文件夹中便成功达到二次开发目的。

3、总结

当然不仅仅是Hadoop，包括jdk本身都可以这样进行二次开发。

java二次开发流程，源码修改流程（Hadoop）相关推荐

循序渐进，探寻Excel二次开发.NET源码(3)-ExcelBase类
循序渐进,探寻Excel二次开发.NET源码(3)-ExcelBase类 --Excel打开关闭打印预览作者:长江支流关键字:.NET.Excel.Excel打开.Excel关闭.Excel打印预 ...
类似爱美刻右糖轻剪辑捷映秀展网秀多多来画创视网传影影大师闪剪源码技术源头二次开发提供源码逗拍趣推飞推美册搞定视频简影剪影爱字幕幸福相册八角星
需要源码的下面评论介绍类似爱美刻右糖轻剪辑捷映秀展网秀多多来画创视网传影影大师闪剪源码技术源头二次开发提供源码. 类似逗拍趣推飞推美册搞定视频简影剪影爱字 ...
python接入Vissim二次开发，源码
python接入Vissim二次开发,源码,刚开始学习,为了写论文,一样的朋友可以一块研究代码代码地址 DQN VISSIM4.3 tensorflow1.2.0 https://github.co ...
安卓java编辑器eclipse_Eclipse开发Android源码的详细教程
用eclipse + ADT作为android开发工具,可以说是很方便的,在HelloActivity小程序里我们就感觉到eclipse功能的强大. 1.可以使用eclipse来编辑JAVA程序.检查 ...
【二十】Jmeter：插件二次开发—— JMeter 源码导入 eclipse
目录一.源码官网下载二.lib 目录官网下载三.源码 & lib 目录下载四.导入eclipse 一.源码官网下载点击前往官网下载并解压:下载地址二.lib 目录官网下载点击前 ...
Java企业微信开发_00_源码及资源汇总贴
一.源码此系列教程的源码我都放在了github上,欢迎fork以及关注. 传送门:https://github.com/shirayner/WeiXin_QiYe_Demo/tree/master ...
ThingsBoard 二次开发之源码分析 5-如何接收 MQTT 连接
欢迎加入ThingsBoard技术交流群这里可复制Q群号:69998183 关注"云腾五洲":获取二开ThingsBoard物联网平台演示交流社区:ThingsKit-Thin ...
网站二次开发模板源码下载
一天我无意发现一个特别好的的网站,它就是:http://www.aspku.com/,里面收集各种商业网站源码,非常利于我们程序员进行二次开发,大大缩短开发周期.今天的分享到此就结束了.谢谢大家
《深度解析Java游戏服务器开发》源码
不知什么原因,出售的<深度解析Java游戏服务器开发>一书中,没有给出源码,这里补上,源码已经上传至github: https://github.com/hjcenry/JavaServe ...

java二次开发流程，源码修改流程（Hadoop）