[已解决]hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

环境

宿主机：Windows 10 64_bit
虚拟机：VMware pro 12
- CentOS 7.5 64_bit（3台：1个master、2个slave）
- Hadoop-2.6.5
ssh工具：SecureCRT 7.3

[root@master mydb]# hadoop fs -ls /
19/07/02 14:13:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 7 items
drwxr-xr-x   - root supergroup          0 2019-04-26 12:26 /data
drwxr-xr-x   - root supergroup          0 2019-05-25 20:50 /hadoop
...

意思是：WARN级别的警告（也就是说：对后续操作比如hadoop fs和hive等不影响，不是强迫症的可以暂时无视它，哈哈），无法为平台加载本地hadoop库…可使用合适的内置java类。

网友说是因为glibc库跟hadoop不一致的问题，但我这应该和这位的原因不一样。因为下方并没有报错：

[root@master native]# pwd
/usr/local/src/hadoop-2.6.5/lib/native
ldd --version
[root@master native]# ldd (GNU libc) 2.17
Copyright (C) 2012 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.
[root@master native]# ldd libhadoop.so.1.0.0linux-vdso.so.1 =>  (0x00007fff21d9f000)libdl.so.2 => /lib64/libdl.so.2 (0x00007fef14051000)libc.so.6 => /lib64/libc.so.6 (0x00007fef13c84000)/lib64/ld-linux-x86-64.so.2 (0x00007fef14476000)
[root@master native]#

方法1：

所以还是参考网友的方法：直接在log4j日志中去除告警信息。

[root@master hadoop]# pwd
/usr/local/src/hadoop-2.6.5/etc/hadoop
[root@master hadoop]# vim log4j.properties
...
....
在文件尾部添加下方这句：
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

不过这招：治标不治本。最终还是没有成功加载native-hadoop library。因此忽视这个方法。

方法2：针对ldd --version没有提示：version GLIBC_2.xxx not found的解决方案是让它成功加载native-hadoop library。

在hadoop下/etc/hadoop/hadoop-env.sh文件下第52行后面添加下方配置：

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

参考：
大佬博客1
博客2

[已解决]hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor相关推荐

[大数据入门]解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor
解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor [大数据入门 ...
运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....
每天都会遇到新的问题,每件事他没有唯一的解决方法,善于发现问题,善于解决问题,这是你走向成功的一门法宝,与其在问题困扰上纠结,还不如去尝试解决的方法,, ----------送给正在寻找答案的你今天 ...
解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform
每次运行hdfs命令时,都会出现下图的警告: 问题:每次运行hdfs命令时,都会出现下图的警告: WARN util. NativeCodeLoader: Unable to load native- ...
hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform ...
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo
安装 hadoop 2.4.1 报错信息 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf ...
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform- using builti ...
【已解决】报错qt.qpa.plugin: Could not load the Qt platform plugin “windows“ in “...“ even though it was
问题描述: 在Python程序中使用到Pyside2进行图形界面搭建,并使用Pyinstaller将程序打包为独立可执行文件后,双击.exe文件,出现报错: "qt.qpa.plugin: ...
解决：运行sbin下的start-hdfs.sh时报WARN util.NativeCodeLoader: Unable to load native-hadoop
一开始按照网上的教程,修改 hadoop-env.sh 内容如下: export JAVA_HOME=/root/training/jdk1.8.0_144 export HADOOP_HOME=/r ...
Hadoop警告：WARN util.NativeCodeLoader
目录一.原因分析二.解决办法一.原因分析当hadoop配置完成运行类似 bin/hdfs dfs ....之类的命令时,有时候会出现以下警告: WARN util.NativeCodeLoa ...

[已解决]hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

[已解决]hadoop报错： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor相关推荐

最新文章

热门文章