更改hadoop native库文件后datanode故障

hadoop是用cloudra的官方yum源安装的，服务器是CentOS6.3 64位操作系统，自己写的mapreduce执行的时候hadoop会提示以下错误：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

网上说是这样的

Hadoop的native是在32 bit环境下编译的，在64bit环境下运行会有问题，所以需要下载hadoop的源码在64bit环境下重新编译

然后在官方文档里找到了相应的解释

链接：http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/NativeLibraries.html

The pre-built 32-bit i386-Linux native hadoop library is available as part of the hadoop distribution and is located in the lib/native directory. You can download the hadoop distribution from Hadoop Common Releases.Be sure to install the zlib and/or gzip development packages - whichever compression codecs you want to use with your deployment.

于是，按照官档里的说明在服务器上Build出新的hadoop，把native里面的库文件替换默认的的库文件，搞定，重启hadoop所有服务，自己写的mapreduce可以用了，那么接下来问题来了……发现hdfs进入了Safemode，说有个多少多少块corrupted，然后发现重启期间有同事在使用mapreduce，怀疑是这个原因造成了数据的损坏。由于数据有备份，于是手动解除Safemode，用hadoo fsck删掉了坏掉的数据块，此时是不提示corrupted了，可是惊奇的发现，datanode没有起来！

Hadoop datanode is dead and pid file exists

紧接着，找到存在的pid file，rm之，再起！还是不行！找到datanode的日志，发现有FATAL信息！

2014-11-26 14:35:49,577 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Ljava/lang/String;Ljava/lang/St
ring;I)Ljava/io/FileDescriptor;at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Native Method)at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.create(SharedFileDescriptorFactory.java:87)at org.apache.hadoop.hdfs.server.datanode.ShortCircuitRegistry.<init>(ShortCircuitRegistry.java:169)at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:586)at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:773)at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:292)at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1893)at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1780)at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1827)at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2003)at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2027)
2014-11-26 14:35:49,580 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2014-11-26 14:35:49,582 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at carweb94/10.14.1.94

搜索了下，发现是native库文件的问题！好吧，这下找到元凶了，把默认的native库文件替换回来了，问题解决了。排错的过程中，这篇文章给了很大启发。

http://stackoverflow.com/questions/26467568/hadoop-2-5-0-failed-to-start-datanode

转载于:https://www.cnblogs.com/fanfanfantasy/p/4123412.html

更改hadoop native库文件后datanode故障相关推荐

很详细、很移动的Linux makefile教程：介绍，总述，书写规则，书写命令，使用变量，使用条件推断，使用函数，Make 的运行，隐含规则使用make更新函数库文件后序...
很详细.很移动的Linux makefile 教程内容如下: Makefile 介绍 Makefile 总述书写规则书写命令使用变量使用条件推断使用函数 make 的运行隐含规则使用m ...
git删除本地代码库文件后同步到远程仓库同时删除远程仓库文件
1.更新本地代码库 git pull 2.对需要删除的文件.文件夹进行如下操作: git rm ss.c(删除文件) git rm -r aaa (删除文件夹) 3.提交修改 git commit - ...
linux 环境变量文件_应急响应系列之Linux库文件劫持技术分析，有点硬核哟
0×01 菜逼阶段 Linux库文件劫持这种案例在今年的9月份遇到过相应的案例,当时的情况是有台服务器不断向个可疑IP发包,尝试建立连接,后续使用杀软杀出木马,重启后该服务器还是不断的发包,使用net ...
Linux库文件详解
源自: https://www.cnblogs.com/yangg518/p/5842651.html 转自: http://www.cppblog.com/deane/articles/165216 ...
halcon 库文件使用
halcon库文件的使用在打开halcon开发程序时,有时打开时会出现 [函数未实现] 的报警主要原因库文件未导入(开发工具不认识库文件) 解决方法: 1.打开函数 ==> 管理函数 2. ...
java 中 Native.loadLibrary 不能加载 jar 包中库文件的解决方案
比如拿 jna 加载海康测速库文件为例: windows环境: (HCNetSDK) Native.loadLibrary("E:\\xxx\\HCNetSDK.dll", HCN ...
php编译自己库文件,php编译后追加库模块-gd库
[root@local]# yum install gd-devel ##安装gd的开发包 [root@local]# cd /root/lnmp/src/php-5 ...
linux下Qt调用C++库文件(.so)程序实现
文章目录主要内容一.编程环境及实现方法二.项目实现 1.创建项目 2.导入库文件三.项目中遇到的问题总结主要内容如标题所示,在linux下使用qtcreator创建项目调用C++库文件, ...
hadoop HDFS常用文件操作命令
命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列 ...

更改hadoop native库文件后datanode故障

更改hadoop native库文件后datanode故障相关推荐

最新文章

热门文章