Hadoop，Spark错误：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

今天我用Spark进行RDD操作，遇到很多坑，都是之前犯过的错误，总是忘记，这里总结下。

错误日志如下：

我在windows中配置了hadoop，然后还需要一些工具hadoop.dll和winutils.exe文件，这里工具可以进行下载，相关的详细说明，我也写在其中。

链接：https://pan.baidu.com/s/1ggCnoOLtLKWZFAcQop10PA
提取码：udw9

然后配置一下hadoop/etc/hadoop/hadoop-env.cmd文件，如下图：

这里为什么配置可以参考下我之前写过一篇的文章：https://blog.csdn.net/qq_38364053/article/details/86017854。

最后还需要几步可以彻底解决：以做过的wordcount为例子，需要添加一行代码System.setProperty("hadoop.home.dir","你的hadoop根目录")

以上配置过后，我能正确运行。记录一次，日后再次遇到方便查阅。以上希望对大家有帮助。

Hadoop，Spark错误：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.相关推荐

安装spark，Could not locate executable null\bin\winutils.exe in the Hadoop binaries报错
安装spark,Could not locate executable null\bin\winutils.exe in the Hadoop binaries报错缺少winutils.exe程序 ...
【Spark】Could not locate executable null\bin\winutils.exe in the Hadoop binaries
项目场景: 在ideal中运行spark项目进行数据存储文件时报错. 问题描述: 报错:Could not locate executable null\bin\winutils.exe in the ...
[Spark]Could not locate executable null\bin\winutils.exe in the Hadoop binaries
这里集群环境不同,但遇到的问题及解决办法其实一样,时间有限,就不详细修改了.我主要是在Windows本地运行Spark程序出现该错误. 本文转自http://www.cnblogs.com/hyl82 ...
【Spark】Spark报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries
IDEA集成Scala和Spark之后,运行demo可能会报错: java.io.IOException: Could not locate executable null\bin\winutils. ...
连接hadoop java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binarie
java连接hadoop报错 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop ...
Could not locate executable null\bin\winutils.exe in the Hadoop binaries全网最强windows10安装hadoop教程
简述详细安装配置步骤 1.安装jdk 2.下载安装hadoop 2.1 下载 2.2 解压安装 2.3 配置环境变量 2.4 配置cmd与xml文件设置完毕启动hadoop 简述报错内容:Cou ...
IDEA启动hadoop报Could not locate executable null\bin\winutils.exe in the Hadoop binaries.错误的解决办法
打开了一个hadoop项目,项目代码确定无误可运行,但是本地运行报错如下仔细看一下报错路径,显示的是null\bin\winutils.exe 而我的winutils已经下载下来并且复制到bin目录 ...
解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
在Windows环境下使用IDEA.eclipse运行hadoop.spark程序时产生如下异常: 1.java.io.IOException: Could not locate executable ...
源码追踪，解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries.问题
在windows系统本地运行spark的wordcount程序,会出现一个异常,但不影响现有程序运行. >>提君博客原创 http://www.cnblogs.com/tijun/ & ...
bug-hadoop:Could not locate executable null\bin\winutils.exe in the Hadoop binaries
原因:缺少winutils.exe程序 Hadoop都是运行在Linux系统下的,在windows下eclipse中运行mapreduce程序,要首先安装Windows下运行的支持插件下载: htt ...

Hadoop，Spark错误：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

Hadoop，Spark错误：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.相关推荐

最新文章

热门文章