Linux版本跟Hadoop版本,Hadoop本地库与系统版本不一致引起的错误解决方法
部署Hadoop的集群环境为
操作系统 CentOS 5.8
hadoop版本为cloudera hadoop-0.20.2-cdh3u3
集群中设置支持gzip lzo压缩后,在对压缩文件进行读取或者对输入文件压缩的时候要使用到hadoop的本地库,本地库的默认位置在
$HADOOP_HOME/lib/native/Linux-amd64-64 (64位操作系统)
$HADOOP_HOME/lib/native/Linux-i386-32 (32位操作系统)
文件夹中的libhadoop.so文件,就是hadoop的本地库。
如果本地库不存在,或者本地库与当前操作系统的版本不一致的时候,会报下面的错误:
11/09/20 17:29:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
增加调试信息设置
$ export HADOOP_ROOT_LOGGER=DEBUG,console
$ hadoop fs -text /test/data/origz/access.log.gz
2012-04-24 15:55:43,269 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
error libhadoop.so /lib64/libc.so.6 required (libc 2.6) /usr/local/hadoop/lib/native/Linux-amd64-64
说明系统中的glibc的版本和libhadoop.so需要的版本不一致导致
查看系统的libc版本
# ll /lib64/libc.so.6
lrwxrwxrwx 1 root root 11 Apr 24 16:49 /lib64/libc.so.6 -> libc-2.5.so
系统中的版本为2.5
将系统中的glibc升级为2.9
下载glibc
wget http://ftp.gnu.org/gnu/glibc/glibc-2.9.tar.bz2
下载glibc-linuxthreads
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2
解压
$tar -jxvf glibc-2.9.tar.bz2
$cd glibc-2.9
$tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
$cd ..
$export CFLAGS="-g -O2"
$./glibc-2.7/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
$make
#make install
安装编译过程中需要注意三点:
1、要将glibc-linuxthreads解压到glibc目录下。
2、不能在glibc当前目录下运行configure。
3、加上优化开关,export CFLAGS="-g -O2",否则会出现错误
安装完后,可以查看ls -l /lib/libc.so.6已升级
lrwxrwxrwx 1 root root 11 Apr 24 16:49 /lib64/libc.so.6 -> libc-2.9.so
测试本地库是否升级
$ export HADOOP_ROOT_LOGGER=DEBUG,console
$ hadoop fs -text /test/data/origz/access.log.gz
12/04/25 08:54:47 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 6bb1b7f8b9044d8df9b4d2b6641db7658aab3cf8]
12/04/25 08:54:47 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
12/04/25 08:54:47 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/04/25 08:54:47 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
12/04/25 08:54:47 DEBUG fs.FSInputChecker: DFSClient readChunk got seqno 0 offsetInBlock 0 lastPacketInBlock false packetLen 132100
可以看到将glibc升级后不再报错,已经成功加载本地库
Linux版本跟Hadoop版本,Hadoop本地库与系统版本不一致引起的错误解决方法相关推荐
- Windows IIS注册asp 此操作系统版本不支持此选项 错误解决方法
Windows IIS注册asp 此操作系统版本不支持此选项 错误解决方法 参考文章: (1)Windows IIS注册asp 此操作系统版本不支持此选项 错误解决方法 (2)https://www. ...
- php高版本安装ecshop错误解决方法
php高版本安装ecshop错误解决方法 参考文章: (1)php高版本安装ecshop错误解决方法 (2)https://www.cnblogs.com/bqx619/p/5014171.html ...
- 【转】Windows IIS注册asp 此操作系统版本不支持此选项 错误解决方法
[转]Windows IIS注册asp 此操作系统版本不支持此选项 错误解决方法 参考文章: (1)[转]Windows IIS注册asp 此操作系统版本不支持此选项 错误解决方法 (2)https: ...
- hadoop不在sudoers文件中。此事将被报告。 解决方法
hadoop不在sudoers文件中.此事将被报告. 解决方法 参考文章: (1)hadoop不在sudoers文件中.此事将被报告. 解决方法 (2)https://www.cnblogs.com/ ...
- 王者荣耀体验服什么叫服务器未响应,王者荣耀体验服登陆不进去怎么回事 体验服版本错误解决方法...
今天想必很多有想玩体验服,进去尝试下新英雄梦奇的玩家,不过点进去后,发现提示版本错误,那么体验服在今天一直进不去是怎么回事呢,版本错误,退出后再次重进,也是错误,这是什么情况呢,其实是由于本次更新耗时 ...
- 宝藏世界中什么叫服务器中断了,宝藏世界版本检查错误解决方法 Trove登陆不了怎么办...
宝藏世界版本检查错误怎么办,Trove版本检查错误怎么解决,有玩家反映在运行游戏时提示版本检查错误,这是什么情况,遇到版本检查错误应该怎么解决,下面一起来看看版本检查错误解决方法.以及其他登陆异常问题 ...
- linux没有jre文件夹,linux上配置jdk时,java命令提示没有此文件或文件夹的解决方法...
linux上配置jdk时,java命令提示没有此文件或文件夹的解决方法 出现这个问题可能有以下几种原因: 1.对该文件没有执行的权限. 2.我们的机器是64位的,而下载的jdk是32位的. 我就是后一 ...
- Linux服务器init 5启动图形界面,报错Retrigger failed udev events的解决方法
1.开启linux系统的桌面环境,使用startx未成功,报如下错误: 提示:Retrigger failed udev events [root@5201351 /]# startx xauth: ...
- Linux下MySql出现#1036 – Table ‘ ‘ is read only 错误解决方法
Linux下MySql出现#1036 – Table ' ' is read only 错误解决方法 参考文章: (1)Linux下MySql出现#1036 – Table ' ' is read o ...
最新文章
- html 文字上下垂直居中
- MVC的增删改和Razor
- 2008年毕业生第一份工作月薪工资大曝光
- uvalive5986(贪心)
- Android通过使用系统广播监听网络状态的改变
- lda php,主题模型︱几款新主题模型——SentenceLDA、CopulaLDA、TWE简析与实现
- 关于Java后台 HTML+CSS3 转换生成PDF文件问题求助!
- 计算机表格平均分用函数怎么算,总结:如何使用公式计算Excel2013表中合并单元格的平均值...
- (四)Buffer 缓冲区
- Matlab直方图显示y值
- 差点,参加中国平安保险集团
- 计算机打印东西怎么横向打印机,ms xps虚拟打印机,如何横向打印显示?
- python文本保存
- 微信小程序之日期时间筛选器实现(支持年月日时分)
- 线性筛(Linear Sieve)
- JavaSE(二)-抽象类
- BIOS设置 硬盘热插拔功能
- xp安全模式下如何修复计算机,电脑怎么进入安全模式,教您xp系统进入安全模式的方法...
- 联想服务器控制口登录地址_常用服务器管理口IP及账号密码(欢迎补充)
- 叶武滨老师时间管理感悟分享2
热门文章
- 坐拥270亿参数!阿里达摩院发布超大规模语言模型PLUG,上能写诗词歌赋、下能对答如流...
- 百度网盘最大的竞争对手来了!阿里云盘正式公测
- Linux 吉祥物30岁了!“出道”30年,你对Linux了解多少?
- GitHub 超 20000 Star,最火开源视频库 FFmpeg 这 20 年!
- 百度大脑 EasyDL 专业版最新上线自研超大规模视觉预训练模型
- 想招到优秀的程序员?这些坑一定不要踩
- 有了 Service Mesh,还需要 API 网关吗?
- “不会Linux,怎么当程序员?”面试官:等着被淘汰吧!
- 《长安十二时辰》火了!程序员版本过于真实!
- 小米开源语音模型 Kaldi-ONNX 转换工具,助力移动端部署!