每次运行hdfs命令时,都会出现下图的警告: 问题:每次运行hdfs命令时,都会出现下图的警告: WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin –java classes where applicable

文章目录

  • (1)消除警告的方法一
  • (2)消除警告的方法二

(1)消除警告的方法一

其实,warn级别的警告,对后续操作,比如hadoop fs和hive等不影响。如果不介意的同学可以不处理这个警告,或者在日志内取消该方面的警告,具体如下:
进入到hadoop/etc/hadoop目录,找到log4j.properties文件,添加以下命令。

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR


退出编辑后重启Hadoop,发现此时警告已经不显示了。

(2)消除警告的方法二

此问题意为“无法为平台加载本地hadoop库…可使用合适的内置java类。”
原因:native-hadoop library本地库不一导致了该问题的出现:
解决方法
hadoop的一些不兼容性,需要通过编译对应hadoop版本的源码得到native-hadoop。
1、编译源码,通过GitHub找到hadoop的源码:https://github.com/apache/hadoop。
2、进入到hadoop的目录执行

mvn package -Pdist
native -DskipTests –Dtar

编译成功后hadoop-版本号-src/hadoop-dist/target/hadoop-版本号/lib/native会在这个目录生成native库。
我们把hadoop的hadoop-版本号/lib/native目录下的所有文件替换成刚刚编译好的native下的所有文件。此时重启Hadoop,再次运行hdfs,发现没有有关native的警告了。

不知道此篇文章是否解决了你的问题,如果还没有的话,建议可以去查看相关的日志,日志会告诉我们的。好了,下期再见。

解决Hadoop运行时的WARN util. NativeCodeLoader: Unable to load native-hadoop library for your platform相关推荐

  1. hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

    Hadoop fs -ls / 出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform ...

  2. [已解决]hadoop报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

    环境 宿主机:Windows 10 64_bit 虚拟机:VMware pro 12 CentOS 7.5 64_bit(3台:1个master.2个slave) Hadoop-2.6.5 ssh工具 ...

  3. 运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....

    每天都会遇到新的问题,每件事他没有唯一的解决方法,善于发现问题,善于解决问题,这是你走向成功的一门法宝,与其在问题困扰上纠结,还不如去尝试解决的方法,, ----------送给正在寻找答案的你 今天 ...

  4. [大数据入门]解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

    解决centos6.5中WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor [大数据入门 ...

  5. WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo

    安装 hadoop 2.4.1 报错信息 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platf ...

  6. WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-

    报错: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform- using builti ...

  7. 解决:运行sbin下的start-hdfs.sh时报WARN util.NativeCodeLoader: Unable to load native-hadoop

    一开始按照网上的教程,修改 hadoop-env.sh 内容如下: export JAVA_HOME=/root/training/jdk1.8.0_144 export HADOOP_HOME=/r ...

  8. hadoop启动就出现 WARN util.NativeCodeLoader:... using builtin的解决方法

    转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51538611 启动后出现如下错误. 问题在哪里?有人说这是hadoop的预编译包是 ...

  9. 消除Hadoop警告WARN util.NativeCodeLoader

    刚刚部署完Hadoop集群,使用hdfs命令时老是会报一堆警告,虽然没有妨碍到集群正常运行,但是很烦人 例如:WARN util.NativeCodeLoader: Unable to load na ...

最新文章

  1. 如何利用 C# 爬取「京东 - 计算机与互联网图书销量榜」!
  2. python3 image与 图像io互转
  3. Erlang列表操作里面的变量绑定规则
  4. php阿里云oss文件上传
  5. datatable 创建列赋值_DataTable创建行和列,DataReader读取
  6. 《编程之美》读书笔记(十二):“只考加法的面试题”
  7. ping得通外网,上得了QQ,游戏,却打不开网页。
  8. LeetCode 1223. 掷骰子模拟(DP)
  9. java 数组数据类型_java基本数据类型和数组
  10. 算法中各种距离的介绍
  11. python tk text 自动换行_Python tkinter之Text
  12. html5media 原理,HTML媒体(Media)是什么
  13. ModelSim的使用详解
  14. ISO27001标准的起源和发展
  15. 三相全控tc787触发电路_典型定频空调器的电路识图方法,一看就懂
  16. 目标检测网络 -- FasterRCNN
  17. 3种免费的网页截图API,可以在线截图,自动生成缩略图
  18. 华硕电脑锁定计算机,华硕笔记本电脑的BIOS怎么设置
  19. javax.mail.MessagingException: Could not connect to SMTP host: smtp.163.com, port: 465;
  20. 红旗Linux网卡Bind,请教一下在红旗linux中安装网卡RTL8168/8111的问题

热门文章

  1. Jmeter 录制https(五)
  2. Web应用程序的开发步骤
  3. jquery ajax 调用webservice以及跨域问题
  4. Programming Ruby学习笔记一
  5. The last time...
  6. Assets.car 解压工具 cartool 使用报错 segmentation fault cartool 解决方案
  7. 解决gitlab关闭登录选项问题
  8. HTML页面加载异常,按F12调试后居然又好了的解决办法!
  9. 【实践】端智能在大众点评搜索推荐重排序的应用实践
  10. 程序猿们正在疯狂battle,看看究竟谁的算法更6