CentOS7下用jdk1.7编译hadoop-2.7.1全过程详解
说实话,本人编译hadoop的过程比较曲折,但收获也很多,下面系统介绍一下CentOS7下编译hadoop-2.7.1的全过程吧。
先说明,32位Linux操作系统可以直接下载编译好的hadoop使用,但是64位Linux操作系统需要自己编译。
1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具。
到官网http://hadoop.apache.org/releases.html,点击source下载hadoop-2.7.1-src.tar.gz。
解压之
tar -zxvf hadoop-2.7.1-src.tar.gz
得到hadoop-2.7.1-src文件夹。
进入hadoop-2.7.1-src文件夹,查看BUILDING.txt
cd hadoop-2.7.1-src vim BUILDING.txt
可以看到编译所需的库或者工具:
包括:
JDK1.7+ maven 3.0 or later findbugs 1.3.9 protocolBuffer 2.5.0 cmake 2.6 zlib-devel openssl-devel
除了上面这些,为了不出错,实际还需要autoconf automake gcc等。
下面开始准备这些工具:
首先使用su命令获取root权限,以免受到各种限制
2.下载jdk-7u79-linux-x64.tar.gz,解压后移动到/opt目录下
tar -zxvf jdk-7u79-linux-x64.tar.gz mv jdk1.7.0_79 /opt
然后打开/etc/profile配置jdk环境变量
vim /etc/profile按 i 进入插入模式,在文件末尾添加 export JAVA_HOME=/opt/jdk1.7.0_79 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin export JRE_HOME=/opt/jdk1.7.0_79/jre export PATH=$PATH:$JRE_HOME/bin先后按Esc, Shift+:, wq, 回车即可保存并退出编辑。输入 source /etc/profile 回车即可保存更改。
运行javac -version 查看状态:
3.下面安装各种库,
yum -y install svn ncurses-devel gcc* yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel
4.安装protobuf-2.5.0.tar.gz(注意版本必须是2.5.0)
地址链接: http://pan.baidu.com/s/1eQDE7TK 密码: r9s2
tar zxvf protobuf-2.5.0.tar.gz
进入protobuf-2.5.0依次执行
cd protobuf-2.5.0 ./configure make make install
验证安装是否完成
protoc --version
出现
5.安装maven
下载apache- maven- 3.2.3- bin.tar.gz
解压缩并配置环境变量
解压: tar -zxvf apache-maven-3.3.3-bin.tar.gz 移动到/opt目录下: mv apache-maven-3.3.3 /opt 配置环境变量: vim /etc/profile 在末尾添加: export MAVEN_HOME=/opt/apache-maven-3.3.3 export MAVEN_OPTS="-Xms256m -Xmx512m" export PATH=$PATH:$MAVEN_HOME/bin 先按Esc, Shift+:, wq, 回车即可保存并推出编辑。输入 source /etc/profile 回车即可保存更改。 查看安装状态: mvn -version
看到
6.安装ant
下载apache-ant-1.9.4-bin.tar.gz
解压缩并配置环境变量
解压: tar -zxvf apache-ant-1.9.4-bin.tar.gz 移动到/opt目录下 mv apache-ant-1.9.4 /opt 配置环境变量 同上,在/etc/profile文件末未添加: export ANT_HOME=/opt/apache-ant-1.9.4 export PATH=$PATH:$ANT_HOME/bin 然后保存,退出,并使更改生效。 查看安装结果: ant -version
7.安装findbugs
下载findbugs-3.0.1.tar.gz,选择上面的standard version即可
解压缩并配置环境变量
解压: tar -zxvf findbugs-3.0.1.tar.gz 移动到 /opt目录下 mv findbugs-3.0.1 /opt 配置环境变量: 在 /etc/profile 文件末尾添加: export FINDBUGS_HOME=/opt/findbugs-3.0.1 export PATH=$PATH:$FINDBUGS_HOME/bin 保存退出,并使更改生效。 查看安装结果
8.准备完成,下面开始编译hadoop
进入到hadoop-2.7.1-src目录
使用命令: mvn clean package –Pdist,native –DskipTests –Dtar 或者: mvn package -Pdist,native -DskipTests -Dtar
进行编译。
务必保持网络畅通,经过漫长的等待(本人的比较慢,花了2小时57分钟)看到下图即表明编译成功!
编译好的文件在/hadoop-dist/target/hadoop-2.7.1.tar.gz下。
注意事项:
1.所有命令,建议手敲,不建议复制粘贴,以避免因为页面空格造成的不必要错误。
2.务必保持网络畅通,如果出现缺少某个文件,则要先清理maven(使用命令 mvn clean) 再重新编译。
3.如果总是出现同一个错误导致编译失败,则可能是缺少某个库或者工具,检查上述工具是否都安装成功,并且版本正确。
转载于:https://www.cnblogs.com/pbnull/p/4857828.html
CentOS7下用jdk1.7编译hadoop-2.7.1全过程详解相关推荐
- linux boost 卸载,Ubuntu下boost库的编译安装步骤及卸载方法详解
最近由于编译一个程序用到了C++的boost库,所以便安装了这个库.但是,其中遇到了一些小问题.所以记录下来,以供别人参考. 首先说一下我的环境:Ubuntu 12.04 32bit, gcc 4. ...
- Centos7下areaDetector IOC的编译后记
https://github.com/EPICS-synApps/support/releases synApps出新版了,本文发文时的最新版为:R6-2 Centos7下areaDetector I ...
- Hadoop之InputFormat数据输入详解
Hadoop之InputFormat数据输入详解 Job提交流程和切片源码详解 FileInputFormat切片机制 CombineTextInputFormat切片机制 InputFormat接口 ...
- Linux进程最大socket数,Linux下高并发socket最大连接数所受的各种限制(详解)
1.修改用户进程可打开文件数限制 在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每 ...
- Hadoop第五天--HDFS详解
文章部分选自:https://blog.csdn.net/gwd1154978352/article/details/81095592 自己的话:层楼终究误少年,自由早晚乱余生 眼泪你别问,joker ...
- rv1109/rv1126 编译并部署QT项目(详解)
目录 前言 一.Windows 下QT环境搭建 二.在 Builroot 下编译QT应用 1.Buildroot下构建QT工程 2.移植源码 3.编译工程 三.使用交叉编译工具链编译QT 1.准备工作 ...
- python编译安装详解_linux 编译安装python3.6的教程详解
不要下载 " XZ compressed source tarball " ,目前 python3.6 最新版压缩包名字是:Python-3.6.7.tgz. 把下载的压缩包随便放 ...
- linux如何确定共享库路径,摘录Linux下动态共享库加载时的搜索路径详解
对动态库的实际应用还不太熟悉的读者可能曾经遇到过类似"error while loading shared libraries"这样的错误,这是典型的因为需要的动态库不在动态链接器 ...
- python2和python3分别是python的两个版本_Windows下Python2与Python3两个版本共存的方法详解...
前言 一向用Python 3,最近研究微信公众号开发,各云平台只支持Python 2.7,想用其他版本需要自己搭建环境.而网上又搜不到Python 3开发微信公众号的资料.暂打算先使用Python 2 ...
最新文章
- 《构建高可用Linux服务器 第3版》—— 1.4 Linux服务器的日志管理
- EOS 智能合约源代码解读 (10)token合约“简介”
- oracle ORA-00604和BadImageFormatException的解决方法
- 手机使用python操作图片文件
- 群晖python套件包_利用群晖Docker安装ubuntu16.04搭建python网站服务器(部署篇)
- Java中父类的静态变量和静态方法的继承问题
- php转换图片属性a,PHP 提取图片img标记中的任意属性
- 计算机课数学,这4个专业,对数学要求很高,数学不好的慎选!
- android gb2312 utf-8,不同编码页面之间用form传值出现乱码问题解决方案 utf-8 到 gb2312...
- unity3D读取Txt文件中信息
- Mysql数据库中,大小写区分
- MIT6.006Lec03:插入排序,归并排序,递归树
- servlet的请求转发与重定向
- matplotlib绘图(折线图,直方图,柱状图,饼图,散点图,三维,动图)
- 利用React 和ant-design 搭建cnode项目的随笔
- 图解TCP/IP详解(史上最全)
- 技术创新是场寂寞的长跑
- PyCharm 创建纯Python项目
- netstat,ss,nc ,wget,dig
- Circular reasoning
热门文章
- vc2019切分位图图像带动态创建工具条
- 图解用RadASM开发一个同时编辑多个文档的编辑器
- IOS操作数据库总结
- Access数据库操作软件研究
- 根据数据库连接的java.sql.Connection获取数据库名称
- mysql下sql语句 update 字段=字段+字符串
- Google Calendar API练习
- ANN神经网络分类2*2矩阵:吸引子和反鞍点cfa-cp
- python2 x与python3 x_python2.x 与 python3.x的不同
- linux gcc 静态编译,GCC 程序编译的静态链接和动态链接