2021年大数据环境搭建(一):Hadoop编译
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习。
有对大数据感兴趣的可以关注微信公众号:三帮大数据
目录
Hadoop编译
一、准备linux环境
二、安装maven
三、安装findbugs
四、在线安装一些依赖包
五、安装protobuf
六、安装snappy
七、编译hadoop源码
Hadoop编译
一、准备linux环境
准备一台linux环境,内存4G或以上,硬盘40G或以上,我这里使用的是Centos7.7 64位的操作系统(注意:一定要使用64位的操作系统),需要虚拟机联网,关闭防火墙,关闭selinux,安装好JDK8。
根据以上需求,只需要将node1再克隆一台即可,命名为node4,专门用来进行Hadoop编译。
二、安装maven
这里使用maven3.x以上的版本应该都可以,不建议使用太高的版本,强烈建议使用3.0.5的版本即可
将maven的安装包上传到/export/software
然后解压maven的安装包到/export/server
cd /export/software/tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../server/
配置maven的环境变量
vim /etc/profile
填写以下内容
export MAVEN_HOME=/export/server/apache-maven-3.0.5export MAVEN_OPTS="-Xms4096m -Xmx4096m"export PATH=:$MAVEN_HOME/bin:$PATH
让修改立即生效
source /etc/profile
解压maven的仓库
tar -zxvf mvnrepository.tar.gz -C /export/server/
修改maven的配置文件
cd /export/server/apache-maven-3.0.5/confvim settings.xml
指定我们本地仓库存放的路径
<localRepository>/export/server/mavenrepo</localRepository>
添加一个我们阿里云的镜像地址,会让我们下载jar包更快
<mirror><id>alimaven</id><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/groups/public/</url><mirrorOf>central</mirrorOf></mirror>
三、安装findbugs
解压findbugs
tar -zxvf findbugs-1.3.9.tar.gz -C ../server/
配置findbugs的环境变量
vim /etc/profile
添加以下内容:
export MAVEN_HOME=/export/server/apache-maven-3.0.5export PATH=:$MAVEN_HOME/bin:$PATHexport FINDBUGS_HOME=/export/server/findbugs-1.3.9export PATH=:$FINDBUGS_HOME/bin:$PATH
让修改立即生效
source /etc/profile
四、在线安装一些依赖包
yum -y install autoconf automake libtool cmakeyum -y install ncurses-develyum -y install openssl-develyum -y install lzo-devel zlib-devel gcc gcc-c++yum -y install bzip2-devel
五、安装protobuf
解压protobuf并进行编译
cd /export/softwaretar -zxvf protobuf-2.5.0.tar.gz -C ../server/cd /export/server/protobuf-2.5.0./configuremake && make install
六、安装snappy
cd /export/software/tar -zxvf snappy-1.1.1.tar.gz -C ../server/cd ../server/snappy-1.1.1/./configuremake && make install
七、编译hadoop源码
对源码进行编译
cd /export/software
tar -zxvf hadoop-2.7.5-src.tar.gz -C ../server/
cd /export/server/hadoop-2.7.5
编译支持snappy压缩:
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
编译完成之后我们需要的压缩包就在下面这个路径里面,生成的文件名为hadoop-2.7.5.tar.gz
cd /export/server/hadoop-2.7.5/hadoop-dist/target
将编译后的Hadoop安装包导出即可
-
2021年大数据环境搭建(一):Hadoop编译相关推荐
- 2021年大数据环境搭建(二):分布式环境搭建
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 分布式环境搭建 集群规 ...
- [转]大数据环境搭建步骤详解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安装与配置)
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
- 【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析⑤
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是"红亚杯"大数据环境搭建与数据采集技能线上专题赛--满分解析系列的第⑤期, ...
- 【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析③
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是"红亚杯"大数据环境搭建与数据采集技能线上专题赛--满分解析系列的第③期, ...
- 【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析②
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是"红亚杯"大数据环境搭建与数据采集技能线上专题赛--满分解析系列的第②期, ...
- 2021年大数据环境命令(一):常用命令汇总
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 汇总Hadoop Hi ...
- 超图大数据环境搭建之单机版hadoop搭建
1 准备 1.1 软件版本 hadoop2.7.3 1.2 绑定 IP 和修改计算机名 1.2.1 修改/etc/hosts,添加 IP 绑定 1.2.2 修改/etc/hostname,为绑定计算 ...
- 小白起步-大数据环境搭建-Java环境配置
未经允许,不得转载 如果你需要相关软件和咨询一些问题,可以加入交流群和大家一起交流:1046893943 在配置java环境前,你需要按照上一篇教程准备3台机器.记住他们的ip,确保相互可以ping通 ...
- mfc清除配置ini文件的数据_大数据环境搭建与配置——aptget源更新、CRT链接、文件服务器配置...
代码块可以左右上下滑动查看一.apt-get源更新 apt-get:高级级包装工具(英语:Advanced Packaging Tools,简称:APT)是Debian及其衍生发行版(如:ubuntu ...
最新文章
- 楷书书法规则_硬笔书法入门学习“三步法”,让练字不再难
- 有人质疑面向对象编程?
- Transformer升级之路:博采众长的旋转式位置编码
- chrome开发总结(交互/权限/存储)-爬虫
- Linux关机、重启命令
- CSS中flex和inline-flex的区别
- 纯新手DSP编程--5.31--DSP/BIOS中的数据交换
- 分享一段飞天R502读卡器的JAVA读卡代码
- EA enterprise architect 画用例图
- Android简单登录界面布局设计
- 车辆网之整车Can网络基本结构及转发机制
- 大厂Android相关岗位校招职位要求汇总
- DevExpress的双击获取单元格数据
- 电商新趋势来临!?解析Dtop 环球嘉年华电商是否值得加入!
- 【图片上传与图片显示】 SpringBoot ajax (跨域问题)
- 苹果Iphone/Ipad--L2TP虚拟教程
- H5-ffmpeg.js压缩视频
- 机器学习2 分类与逻辑回归
- 临床试验中edc录入_临床试验中EDC(电子数据采集)操作须知
- 检查suse是否安装ftp服务,安装:SuSE Linux FTP版安装指南(转)
热门文章
- 2021年大数据环境搭建(二):分布式环境搭建