Windows 下 Spark+Hadoop+Scala 安装
整体流程可参考,但文中的版本较低
Spark学习笔记--Spark在Windows下的环境搭建 - 法号阿兴 - 博客园 (cnblogs.com)https://www.cnblogs.com/xuliangxing/p/7279662.html首先需要对应好 三者的版本,本文安装的版本如下
Spark
版本:spark-3.1.2-bin-hadoop3.2.tgz
链接:Apache Downloadshttps://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz原因:尝试安装3.2.0,发现spark-shell启动后会报错,可参考:Spark安装问题:ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException - codedogzlc - 博客园 (cnblogs.com)https://www.cnblogs.com/codedogzlc/p/15432124.html
Hadoop
版本:hadoop-3.2.0.tar.gz
链接:Index of /dist/hadoop/common/hadoop-3.2.0 (apache.org)https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/
原因:与 Spark 版本后匹配的 Hadoop版本一致
1、hadoop单独启动时招不到JAVA_HOME,参考
(472条消息) Hadoop 找不到 JAVA_HOME 环境变量无法启动问题解决_z69183787的专栏-CSDN博客https://blog.csdn.net/z69183787/article/details/1217921122、其中 Windows 中需要安装 winutils.exe文件,版本需与hadoop版本一一对应,可参考
github下载:
winutils/hadoop-3.2.0/bin at master · cdarlint/winutils (github.com)https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.0/bin 参考:
(471条消息) Hadoop3.2.1、Hadoop3.2.0还有之前的版本的winutils.exe和hadoop.dll_九天安属的博客-CSDN博客_hadoop3.2.2 winutilshttps://blog.csdn.net/qq_39238947/article/details/105382308hadoop本机运行 解决winutils.exe的问题 - 我的肉夹馍啊 - 博客园 (cnblogs.com)https://www.cnblogs.com/roujiamo/p/10053674.html
Scala
版本:2.12.0
链接:All Available Versions | The Scala Programming Language (scala-lang.org)https://www.scala-lang.org/download/all.html
原因:mvn仓库中会告知对应 Spark 版本 需要安装的 Scala 版本
Maven Repository: org.apache.spark » spark-core (mvnrepository.com)https://mvnrepository.com/artifact/org.apache.spark/spark-core
实战
运行example项目,单机下命令如下:
spark-submit --class org.apache.spark.examples.JavaSparkPi --master local[*] C:\Users\zhoushun\Desktop\Spark\examples\jars\spark-examples_2.12-3.1.2.jar
Windows 下 Spark+Hadoop+Scala 安装相关推荐
- hadoop启动页面_轻松搞定Windows下的Hadoop环境安装
Hadoop集群肯定还是要在linux下使用好些,但是对于想尝鲜的开发者或者上层应用开发来说,在windows下搭建一个单节点的应用也是蛮有必要的,当然只作为开发测试环境. 一.环境准备 JDK安装 ...
- windows下spark开发环境配置
--本篇随笔由同事葛同学提供. windows下spark开发环境配置 特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe.hadoop.dll等文件, ...
- Windows下运行Hadoop
Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者的好处 ...
- Windows下R语言环境安装
Windows下R语言环境安装 R官网: https://www.r-project.org/ 按照如下步骤下载windows中的安装文件R-4.1.0-win.exe 文件已经下载完成:R-4.1. ...
- Windows下Go语言的安装和运行
参考:https://blog.csdn.net/SquirrelYuyu/article/details/82776029 Windows下Go语言的安装和运行 文章目录 Go语言的安装与配置 Go ...
- Windows下VisualSVN Server的安装与配置方法(图文)
这篇文章主要介绍了Windows下VisualSVN Server的安装与配置方法,比较详细,需要的朋友可以参考下 VisualSVN Server是免费的,而VisualSVN是收费的.Visual ...
- iis怎么更换php版本,Windows 下PHP+IIS的安装方法(PHP版本为5.0)
Windows 下PHP+IIS的安装方法(PHP版本为5.0) 最近需要使用下PHP相关的东西,查找了一些资料,现将PHP配置方法记录一下,以免以后忘记,呵呵,初学者,各位同学不要拍砖,开始正题,主 ...
- windows 下的CACTI的安装方法
windows 下的CACTI的安装方法 记得第一次工作的时候,主管非得让我学在windows 下的CACTI的安装,把我急的,明明是Linux下的东东,硬让我在windows下面装,不过有不敢不听话 ...
- windows下 python 使用 pip 安装TA-Lib报错的原因及解决方法
windows下 python 使用 pip 安装TA-Lib报错的原因及解决方法 问题环境 问题描述 问题原因 & 解决办法 问题环境 Windows 10 x64 .python 3.8. ...
最新文章
- 算法与数据结构题目的 PHP 实现:栈和队列 由两个栈组成的队列
- 机器学习-数据科学库(第六天)
- 企业选择数据中心的建议
- Servlet教程第7讲笔记
- MAC(多路访问控制)协议
- springboot集成es实现搜索功能
- 使用python读取官方节假日文件,获取放假日期
- “华为杯”第十七届中国研究生 数学建模竞赛-【华为杯】D题:无人机集群协同对抗(附优秀论文及python代码实现)
- 这台笔记本最适合程序员编程!送!
- U盘偷资料神器,我都不太敢分享了。
- 台式计算机联网,台式电脑怎么联网宽带
- 天堂2mysql_天堂2单机版 L2J-som-rotm 安装全过程及常用工具 一步到位
- python调用系统软键盘_python库 pywinio虚拟键盘使用
- 收录CTF MISC方向中使用的在线工具网站
- matlab 函数pdf怎么用_smallpdf怎么用转换器合并pdf?
- windows10某些文件删不掉的终极解决办法
- python制作五子棋_python制作简单五子棋游戏
- 2022年消费金融行业研究报告
- 0293是c语言常量,C语言资料 - 下载 - 搜珍网
- Android 了解Gradle及自动化构建