大数据之-Hadoop源码编译_源码编译的意义---大数据之hadoop工作笔记0044

然后我们再来看一下hadoop的源码编译,

先看看,可以去官网去下载,hadoop-2.7.2.tar.gz的源码去

下载了以后我们需要去编译,源码,为什么?

比如:上面这个源码是32位的,那么如果我们的centos系统是64位的,那么就需要,

首先我们安装好centos 64位系统,然后把我们上面的32位的hadoop源码,copy到

centos64位系统中去,然后去编译,编译以后,就可以得到编译后的64位的,hadoop了.

再比如,我们后面使用hive的时候,hivie需要依赖hadoop的snappy的功能

但是hadoop,本身是没有snappy功能的,需要我们把snappy源码添加到hadoop源码中去,然后再编译一下

hadoop源码就可以用了.

首先我们可以进入

cd /opt/module/hadoop-2.7.2/

可以看到有个lib目录

cd lib

可以看到里面有个native目录

cd native 进入这个native目录

然后,ll可以看到

里面有很多的.so文件.a文件,这些类似于hadoop中的一些功能,

我们需要什么功能,到时候放进来,然后重新编译一下hadoop源码就可以了.

我们后面学hive的时候,hive需要hadoop上的snappy功能,就需要把

snappy模块的编译好的.a,.so源码放到,我们的

/opt/module/hadoop-2.7.2/lib/native/ 文件夹下,去编译hadoop源码就可以了.

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152
开通了个人技术微信公众号:credream,有需要的朋友可以添加相互学习

大数据之-Hadoop源码编译_源码编译的意义---大数据之hadoop工作笔记0044相关推荐

数据查询和业务流分开_一文带你了解大数据管道
介绍如果您从大数据开始,通常会被众多工具,框架和选项所困扰. 在本文中,我将尝试总结其成分和基本配方,以帮助您开始大数据之旅. 我的目标是对不同的工具进行分类,并试图解释每个工具的目的以及它如何适应 ...
实战突击JAVA开发项目_《实战突击Java项目开发案列整合》随书资料（视频+源码）_源雷技术空间...
资源名称:<实战突击Java项目开发案列整合>随书资料(视频+源码) 资源目录: [IT教程网]第1-9_11-15_18_20_21章 [IT教程网]第10章BBS论坛 [IT教程网]第 ...
大数据之-Nifi-了解Nifi处理器_和Nifi的其他组件---大数据之Nifi工作笔记0003
然后我们来看nifi的处理器,可以看到左上角是用来添加处理器的, 拖过来就能添加拖过来以后,会显示一个弹框,里面会显示各种处理器,有293个..常用的都够了可以在右边搜索以后添加看一下常用的处理 ...
datagrid如何获取一行数据中的某个字段值_或许是全网最全面关于数据库面试题...
原文: https://www.enmotech.com/web/detail/1/794/1.html 两万字全面论述数据库面试题(上) https://www.enmotech.com/web/d ...
mongodb的数据怎么导入到hdfs上_如何成为一名合格的数据架构师？
"本文作者:奇点云高级数据架构专家天启,奇点云高级数据架构专家,原海尔集团数据架构师.原阿里巴巴政务团队数据架构师.精通数据仓库建模理论及数据开发技术,具备零售.政务.医药.制造等多个领域 ...
python语言的解释性特点指的是编写的程序不需要编译_解释性与编译型 Python2和python3的区别...
一基础: 1.解释型语言与编译型语言的区别首先,我们编程都是用的高级语言(写汇编和机器语言的大牛除外),计算机不能直接理解高级语言,只能理解和运行机器语言,所以必须要把高级语言翻译成机器语言,计算 ...
数据上采样和下采样_采样不足以配置您的ml数据
数据上采样和下采样 By Isaac Backus and Bernease Herman 艾萨克·巴库斯(Isaac Backus)和伯尼瑟斯·赫曼(Bernease Herman) It's 20 ...
某天没有数据能查出来0数量_用Excel对纽约市出租车费数据探索性分析
一.引言背景:在纽约,游客们往往把自由女神象.帝国大厦.中央公园等视为纽约的象征, 但穿梭在人海中的出租车也是纽约靓丽的人文景观之一, 是其流动的风景线, 在纽约公共文化中别具魅力.本篇文章利用之前 ...
怎么点亮段码屏_段码液晶屏实现原理及应用
什么是段码液晶屏段码液晶或段码液晶屏,只是液晶屏的用户对于某一类液晶显示屏的一种叫法,但是在液晶行业之内,一般都称之为图案型的液晶屏,从而来区别于点阵型的液晶屏,故段码液晶屏并不是一个很严格的表述或 ...

大数据之-Hadoop源码编译_源码编译的意义---大数据之hadoop工作笔记0044

大数据之-Hadoop源码编译_源码编译的意义---大数据之hadoop工作笔记0044相关推荐

最新文章

热门文章