解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform
每次运行hdfs命令时,都会出现下图的警告: 问题:每次运行hdfs命令时,都会出现下图的警告: WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin –java classes where applicable
文章目录
- (1)消除警告的方法一
- (2)消除警告的方法二
(1)消除警告的方法一
其实,warn级别的警告,对后续操作,比如hadoop fs和hive等不影响。如果不介意的同学可以不处理这个警告,或者在日志内取消该方面的警告,具体如下:
进入到hadoop/etc/hadoop目录,找到log4j.properties文件,添加以下命令。
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
退出编辑后重启Hadoop,发现此时警告已经不显示了。
(2)消除警告的方法二
此问题意为“无法为平台加载本地hadoop库…可使用合适的内置java类。”
原因:native-hadoop library本地库不一导致了该问题的出现:
解决方法:
hadoop的一些不兼容性,需要通过编译对应hadoop版本的源码得到native-hadoop。
1、编译源码,通过GitHub找到hadoop的源码:https://github.com/apache/hadoop。
2、进入到hadoop的目录执行
mvn package -Pdist
native -DskipTests –Dtar
编译成功后hadoop-版本号-src/hadoop-dist/target/hadoop-版本号/lib/native会在这个目录生成native库。
我们把hadoop的hadoop-版本号/lib/native目录下的所有文件替换成刚刚编译好的native下的所有文件。此时重启Hadoop,再次运行hdfs,发现没有有关native的警告了。
不知道此篇文章是否解决了你的问题,如果还没有的话,建议可以去查看相关的日志,日志会告诉我们的。好了,下期再见。
解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform相关推荐
- hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform ...
- [已解决]hadoop报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor
环境 宿主机:Windows 10 64_bit 虚拟机:VMware pro 12 CentOS 7.5 64_bit(3台:1个master.2个slave) Hadoop-2.6.5 ssh工具 ...
- 运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....
每天都会遇到新的问题,每件事他没有唯一的解决方法,善于发现问题,善于解决问题,这是你走向成功的一门法宝,与其在问题困扰上纠结,还不如去尝试解决的方法,, ----------送给正在寻找答案的你 今天 ...
- [大数据入门]解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor
解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor [大数据入门 ...
- WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo
安装 hadoop 2.4.1 报错信息 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf ...
- WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform- using builti ...
- 解决:运行sbin下的start-hdfs.sh时报WARN util.NativeCodeLoader: Unable to load native-hadoop
一开始按照网上的教程,修改 hadoop-env.sh 内容如下: export JAVA_HOME=/root/training/jdk1.8.0_144 export HADOOP_HOME=/r ...
- hadoop启动就出现 WARN util.NativeCodeLoader:... using builtin的解决方法
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51538611 启动后出现如下错误. 问题在哪里?有人说这是hadoop的预编译包是 ...
- 消除Hadoop警告WARN util.NativeCodeLoader
刚刚部署完Hadoop集群,使用hdfs命令时老是会报一堆警告,虽然没有妨碍到集群正常运行,但是很烦人 例如:WARN util.NativeCodeLoader: Unable to load na ...
最新文章
- 如何利用 C# 爬取「京东 - 计算机与互联网图书销量榜」!
- python3 image与 图像io互转
- Erlang列表操作里面的变量绑定规则
- php阿里云oss文件上传
- datatable 创建列赋值_DataTable创建行和列,DataReader读取
- 《编程之美》读书笔记(十二):“只考加法的面试题”
- ping得通外网,上得了QQ,游戏,却打不开网页。
- LeetCode 1223. 掷骰子模拟(DP)
- java 数组数据类型_java基本数据类型和数组
- 算法中各种距离的介绍
- python tk text 自动换行_Python tkinter之Text
- html5media 原理,HTML媒体(Media)是什么
- ModelSim的使用详解
- ISO27001标准的起源和发展
- 三相全控tc787触发电路_典型定频空调器的电路识图方法,一看就懂
- 目标检测网络 -- FasterRCNN
- 3种免费的网页截图API,可以在线截图,自动生成缩略图
- 华硕电脑锁定计算机,华硕笔记本电脑的BIOS怎么设置
- javax.mail.MessagingException: Could not connect to SMTP host: smtp.163.com, port: 465;
- 红旗Linux网卡Bind,请教一下在红旗linux中安装网卡RTL8168/8111的问题