因为Apache hadoop 只提供了32位的包,所以需要自己编译64位的包,下面是编译步骤

所需要的包

6:java 1.7+

下面是具体安装:

1:Java安装

安装之前请卸载系统自带的jdk,openjdk

export M3_HOME=/home/data/app/apache-maven-3.3.9

export FINDBUGS_HOME=/home/data/app/findbugs-1.3.9

export ANT_HOME=/home/data/app/apache-ant-1.9.7

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin:$M3_HOME/bin:$FINDBUGS_HOME/bin:$ANT_HOME/bin(这个是我已经安装好的,可以自行删减)

5. java -version 查看java是否安装成功

2:apache-ant-1.9.7-bin.tar.gz 安装

1.tar -zxvf apache-ant-1.9.7-bin.tar.gz 解压

2.vi /etc/profile 添加ant环境变量(因为上一步我已经添加了所以这里就不用加了)

3.ant -version

3:apache-maven-3.3.9-bin.tar.gz 安装

1.tar -zxvf apache-maven-3.3.9-bin.tar.gz 解压

2.vi /etc/profile 添加ant环境变量(因为上一步我已经添加了所以这里就不用加了)

3.mvn -version

4:findbugs-1.3.9.tar.gz 安装

1.tar -zxvf findbugs-1.3.9.tar.gz

2.vi /etc/profile 添加ant环境变量(因为上一步我已经添加了所以这里就不用加了)

3.findbugs -version

5:protobuf-2.5.0.tar.gz 安装

1.tar -zxvf protobuf-2.5.0.tar.gz 解压

2.cd protobuf-2.5.0

3. ./configure

4. make install(如果make 没有安装,请执行yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++)

5.vi /etc/profile 添加ant环境变量(因为上一步我已经添加了所以这里就不用加了)

6:hadoop-2.7.1-src.tar.gz 编译

1.tar -zxvf hadoop-2.7.1-src.tar.gz 解压

2.mvn package -Pdist,native -DskipTests -Dtar

编译完成后的bin版本在目录 hadoop-dist下

编译过程中可能出现的错误

[ERROR] Failed to execute goal on project hadoop-common: Could not resolve dependencies for project org.apache.hadoop:hadoop-common:jar:2.7.1: Could not transfer artifact org.apache.commons:commons-math3:jar:3.1.1 from/to nexus-osc (http://maven.oschina.net/content/groups/public/): GET request of: org/apache/commons/commons-math3/3.1.1/commons-math3-3.1.1.jar from nexus-osc failed: Premature end of Content-Length delimited message body (expected: 1599627; received: 866169 -> [Help 1]

[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.7.1:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: ‘protoc –version’ did not return a version -> [Help 1]

缺这缺那的,用thrift编译说明提到的一个把开发工具全装上。

yum -y groupinstall “Development Tools”

需要安装ant, yum install ant

Caused by: org.apache.maven.plugin.MojoExecutionException: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program “cmake” (in directory “/root/hadoop-2.7.1-src/hadoop-common-project/hadoop-common/target/native”): error=2, No such file or directory

需要安装 findbugs

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (site) on project hadoop-common: An Ant BuildException has occured: stylesheet /home/hadoop/hadoop-2.7.1-src/hadoop-common-project/hadoop-common/${env.FINDBUGS_HOME}/src/xsl/default.xsl doesn’t exist.

[ERROR] around Ant part …… @ 43:251 in /home/hadoop/hadoop-2.7.1-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml

然后设置环境变量  export FINDBUGS_HOME=/usr/local/findbugs-3.0.0

需要安装cmake

Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on

project hadoop-pipes: An Ant BuildException has occured: exec returned: 1

[ERROR] around Ant part …

tools/hadoop-pipes/target/native” executable=”cmake” failοnerrοr=”true”>… @ 5:131 in

/home/pory/workplace/hadoop-2.4.1-src/hadoop-tools/hadoop-pipes/target/antrun/build-

main.xml

安装zlib-dev 和 libssl-dev ,可能在groupinstall已经安装了。

//kms这个,换个目录重新编译或者多试几次,因为下载tomcat超时导致的问题。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (dist) on project hadoop-kms: An Ant BuildException has occured: exec returned: 2

[ERROR] around Ant part …… @ 10:120 in /home/hadoop/hadoop-2.7.1-src/hadoop-common-project/hadoop-kms/target/antrun/build-main.xml

[ERROR] -> [Help 1]

linux 编译hadoop,linux centos 安装编译hadoop2.7.1相关推荐

  1. Linux环境Hadoop的下载安装

    准备工作:JDK1.8的安装   和   SSH免密登录 1. Hadoop的下载 windows在Apache官网下载2.7.6的binary文件,通过FTP传输到centOS虚拟机. 2. 解压安 ...

  2. linux lua socket编程,CentOs 安装lua,luasocket

    一.centos安装Lua 3)个人在这里选择使用5.1版本的 *下载 wget http://www.lua.org/ftp/lua-5.1.5.tar.gz --2013-10-14 16:23: ...

  3. linux无线通用驱动程序,CentOS 安装 Broadcom BCM43225 无线网卡驱动程序

    [CentOS 5.5 X64] CentOS 安装 Broadcom BCM43225 无线网卡驱动程序 想玩看看笔电CENTOS 5.5 X64新的操作系统 安装完成后,发现无线网卡Broadco ...

  4. linux基础-vmware与Centos安装

    安装方式 想学Linux,如何安装才是正确的方式呢. pc可以选择 -纯系统 Linux或者windows -双系统 Windows+Linux -虚拟化技术 Windows+vmware works ...

  5. LIGGGHTS笔记1——集群Centos安装编译,CFDEM耦合OpenFOAM

    1.什么是LIGGGHTS LIGGGHTS是一款开源DEM颗粒模拟软件,其基础是LAMMPS(一款分子动力学模拟软件).目前有两个版本,PUBLIC版本是为研究者们提供使用,而PREMIUM版本是提 ...

  6. siesta在Linux运行,siesta在centos下编译问题

    新虫求教关于siesta在centos下的编译问题. 配置:centos6.5 ifort, mpi,mkl等用的都是intel composer xe 2016 内含的包.siesta 包使用的是s ...

  7. centos 7使用gcc编译c语言,CentOS 7编译安装gcc 4.9.4

    1. 为什么要升级到gcc4.9.x呢? 因为最近在做的一个项目中要用C++11新特性,而在 g++ 4.9 之前,regex 库并不支持 ECMAScript 的正则语法,换句话说,在 g++4.9 ...

  8. Linux中Hadoop的Hbase安装教程

    学习目标: 1.学习HBase的安装流程 2.掌握HBase的工作原理 实验平台:章鱼互联网学院(https://www.ipieuvre.com/) 相关知识: HBase是一个分布式的,面向列的开 ...

  9. Linux宝塔面板介绍 Centos安装宝塔面板教程

    宝塔面板是一个可以安装在服务器上的集成环境,并配套了web管理面板,可以在浏览器上直接控制你的服务器,非常方便. 可以一键创建网站.FTP.数据库.SSL:安全管理,计划任务,文件管理,PHP多版本共 ...

最新文章

  1. 某内存池中的指针用法
  2. php case语句 分号
  3. 把委托说透(4):委托与设计模式
  4. Pytorch-基于Transformer的情感分类
  5. 【转】Struts2 和 Spring MVC对比
  6. intellij idea14.1 卡顿问题解决
  7. __stdcall c++ 默认_JMeter必知必会系列(6) JMeter参数化之__CSVRead()
  8. 【论文解读】深度强化学习基石论文:函数近似的策略梯度方法
  9. detectandcompute 图像尺寸太大_基于深度局部特征的图像检索
  10. canvas绘制竖排的数字_大佬教你用Python Tkinter实现数字猜谜小游戏
  11. Go程序的一生是怎样的?
  12. loginservlet.java_求助HTTP Status 404 - /Book/servlet/cn.servlet.LoginServlet
  13. Hibernate (load PK get and list PK iterator )
  14. C/C++[Shortest Distance]
  15. 算法:求数的幂次方powx-n
  16. 软考信息安全工程师教程第二版
  17. JAVA中JDK环境变量配置
  18. STM32F407极简串口设置
  19. T-SNE可视化实现
  20. 男人一生的四菜一汤(转载)

热门文章

  1. Spring中的@Cacheable开销
  2. 用python连接数据库_用Python连接MySQL
  3. axios代理跨域 cli4_跨域本质及解决办法
  4. nosql简答什么是最终一致性_NoSql的三大基石:CAP理论BASE最终一致性
  5. Spring Cloud Feign 负载均衡
  6. js 导出pdf上传至oss_js实现oss文件上传及一些问题
  7. html 定时刷新 数据,js中,设置定时器 每隔几秒刷新一次页面数据
  8. python对分组进行排序_如何按排序顺序将列表中的项目分组?
  9. mysql不支持子查询_MySQL不支持子查询优化一例
  10. python中可用于布尔测试的,如何在Python中使用布尔值?