Hama笔记：Unable to load native-hadoop library 和 Snappy native library not loaded 的解决

Hama日志中总会看到这两句话：

13/05/03 11:58:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/05/03 11:58:57 WARN snappy.LoadSnappy: Snappy native library not loaded

这两个库都是压缩文件时使用的，最近用Hama跑一些较大的数据的时候总是报错，不知道是不是跟这两个库不能loaded有关，解决之后再试试。看了hadoop-snappy的源代码（在这里），它装载库文件时使用的都是java.library.path，也就是java的默认库地址。在我的机器上，这个地址是这样的：

/usr/lib/jvm/java/jdk1.6.0_38/jre/lib/i386/server:/usr/lib/jvm/java/jdk1.6.0_38/jre/lib/i386:/usr/lib/jvm/java/jdk1.6.0_38/jre/../lib/i386:/usr/lib/jvm/java/jdk1.6.0_38/jre/lib/i386/client:/usr/java/packages/lib/i386:/lib:/usr/lib

只要把libhadoop.so和libsnappy.so拷贝到以上路径中任何一个位置即可。libhadoop.so可以在hadoop_home/lib/native下找到，有两个文件夹，一个是AMD，一个是I386 . 里面有相应的架构的.so文件。libsnappy.so可以自己编译生成，下载tar包（在这里），解压之后 ./configure和make，.libs文件夹下可以看到.so文件。但该文件只是一个link文件，需要将它以及它的target文件一起复制到java.library.path下。编译snappy.so时可能用到的命令：

sudo apt-get install g++
sudo apt-get install autoconf
sudo apt-get install automake
sudo apt-get install libtool
./configure
make

转载于:https://www.cnblogs.com/jiama/archive/2013/05/03/3056419.html

Hama笔记：Unable to load native-hadoop library 和 Snappy native library not loaded 的解决相关推荐

运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....
每天都会遇到新的问题,每件事他没有唯一的解决方法,善于发现问题,善于解决问题,这是你走向成功的一门法宝,与其在问题困扰上纠结,还不如去尝试解决的方法,, ----------送给正在寻找答案的你今天 ...
php报错：PHP Startup Unable to load dynamic library
今天遇到使用php命令运行文件报错,提示:PHP Startup: Unable to load dynamic ,于是网上找了好多资料,终于解决,记录如下,以便日后查阅. 报错内容如下: PHP W ...
Unable to load authentication plugin ‘caching_sha2_password‘
Mybatis反向生成报错一.报错内容如下 Failed to execute goal org.mybatis.generator:mybatis-generator-maven-plugin: ...
Unable to load dll 应用程序配置不正确，程序无法启动的解决方法
现象:需要的dll已经存在,但就是找不到.提示信息例如: Unable to load dll 应用程序配置不正确,程序无法启动解决方法:安装Microsoft Visual C++ 2005 S ...
Hadoop “Unable to load native-hadoop library for y
2019独角兽企业重金招聘Python工程师标准>>> http://devsolvd.com/questions/hadoop-unable-to-load-native-hado ...
hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform ...
解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform
每次运行hdfs命令时,都会出现下图的警告: 问题:每次运行hdfs命令时,都会出现下图的警告: WARN util. NativeCodeLoader: Unable to load native- ...
[已解决]hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor
环境宿主机:Windows 10 64_bit 虚拟机:VMware pro 12 CentOS 7.5 64_bit(3台:1个master.2个slave) Hadoop-2.6.5 ssh工具 ...
【Hadoop】解决Hadoop Unable to load native-hadoop library问题
1.启动Hadoop提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform- usin ...

Hama笔记：Unable to load native-hadoop library 和 Snappy native library not loaded 的解决

Hama笔记：Unable to load native-hadoop library 和 Snappy native library not loaded 的解决相关推荐

最新文章

热门文章