windows配置spark开发环境

2024-05-11 22:59:06

声明：搭建过程中，会因为版本兼容问题，造成闪退等问题，以下是我自用的版本，如需其他版本，最好先查一下兼容问题
1.jdk-8u333-windows-x64下载链接
2.scala-2.13.10下载链接
3.hadoop-3.2.2下载链接
4.spark-3.0.3-bin-hadoop3.2下载链接

开始搭建

1、安装jdk，这个不会安装的自己找个资料看一下，需要说明一下，jdk安装最好不要放在有空格的文件夹下，这样会导致hadoop启动，读不到这个jdk地址，如果你已经安装了，也没有必要卸载，可以交大家一个方法：

我的jdk安装路径：

C:\Program Files\Java\jdk1.8.0_333

配置环境变量改为：

C:\PROGRA~1\Java\jdk1.8.0_333

2、安装scala,这个正常安装即可
3、安装hadoop：解压安装包到你存放的位置，同样要求避免出现路径中出现空格，配置环境变量，在Path变量下新建%HADOOP_HOME%\bin

4、安装spark，解压安装包到你存放的位置，同样要求避免出现路径中出现空格，配置环境变量,在Path变量下新建%SPARK_HOME%\bin

5、在https://github.com/cdarlint/winutils对应版本的bin目录下载hadoop.dll和winutils.exe，复制到hadoop目录的bin目录下

6、启动测试，cmd依次执行以下指令：

java -version
scala -version
hadoop version

都能查看到环境信息，在spark安装目录下双击spark-shell.cmd，个别出现闪退，需要以管理员身份执行，出现以下信息，安装成功

windows配置spark开发环境相关推荐

windows下spark开发环境配置
--本篇随笔由同事葛同学提供. windows下spark开发环境配置特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件, ...
IDEA2022 配置spark开发环境
本人强烈建议在 linux环境下学习 spark!!! Introduction Apache Spark是一个快速且通用的分布式计算引擎,可以在大规模数据集上进行高效的数据处理,包括数据转换.数据 ...
IDEA下使用maven配置Spark开发环境
IDEA下使用maven配置Spark开发环境 1.安装Java 2.配置环境变量 3.配置Hadoop环境 4.安装Scala插件 5.配置maven 4.Spark编程 Spark测试使用到的软 ...
eclipse配置spark开发环境
前言无论Windows 或Linux 操作系统,构建Spark 开发环境的思路一致,基于Eclipse 或Idea,通过Java.Scala 或Python 语言进行开发.安装之前需要提前准备好JD ...
Spark：windows下配置spark开发环境
安装基本的开发环境从spark官网下载spark,如spark-2.3.0-bin-hadoop2.7.tgz,解压并配置环境变量: 增加SPARK_HOME PATH中加入%SPARK_HOME% ...
Windows配置Gtkmm开发环境(with codeblocks)
文章目录写在前面 MSYS2的安装/配置添加环境变量更换国内镜像安装必需软件包 Code::Blocks配置一个简单的例子(hello world) 主要参考写在前面最近腾出时间来学习一 ...
idea搭建spark开发环境完整版（windows）
利用intellij idea 搭建spark开发环境(windows) 本文配置所有环境 Win10 企业版2016长期服务版 Jdk1.8.0.131 Hadoop2.7.3 Spark2.2.0 ...
PyCharm搭建Spark开发环境windows下安装pyspark
目录 windows下安装pyspark PyCharm搭建Spark开发环境 windows下安装pyspark spark和hadoop版本版本之间有对应关系安装jdk 安装hadoop 下载 ...
Windows下单机安装Spark开发环境
机器:windows 10 64位. 因Spark支持java.python等语言,所以尝试安装了两种语言环境下的spark开发环境. 1.Java下Spark开发环境搭建 1.1.jdk安装安装o ...

最新文章

热门文章