win 10 安装单点Spark+Hadoop+Python环境

软件版本

python 3.6.8 下载网址
java 1.8.0_221 下载网址
spark-2.4.4-bin-hadoop2.7.tgz 下载网址
hadoop 2.7.6 下载网址
winutils.exe (windows 需要) 下载网址
scala 2.11.12 下载网址

环境变量配置

系统变量添加

JAVA_HOME： C:Program FilesJavajdk1.8.0_221（java 安装目录）
HADOOP_HOME:C:sparkhadoop-2.7.6 （hadoop解压目录）
SPARK_HOME: C:sparkspark-2.4.4-bin-hadoop2. （spark解压吗目录）

Path 中添加

(Python 安装目录)
(scala 安装目录)
%JAVA_HOME%in
%JAVA_HOME%jrein
%SPARK_HOME%in
%HADOOP_HOME%in

测试

Win+R, 输入cmd打开终端

java -version
python
scala
spark-shell
hadoop
pyspark

win 10 安装单点Spark+Hadoop+Python环境相关推荐

Mac安装eDEX-UI以及后续Python环境配置
Mac安装eDEX-UI以及后续Python环境配置效果配置不想看我瞎扯可以直接跳到这环境配置思路同样适用于Linux发行版. 效果虽说macOS的界面已经十分美观了,但是对于习惯用TUI跑 ...
明明安装了模块，还是出现错误 ImportError: No module named ‘pandas‘ 原因LINUX上安装了多个python环境，将脚本中python 改为python3问题解
明明安装了模块,还是出现错误 ImportError: No module named 'pandas' 原因LINUX上安装了多个python环境,将脚本中python 改为python3问题解 ...
win 10 安装robomongo（studio 3T）
相关资源下载到官网:https://robomongo.org/ 1.如图选择download studio 3T,之所以选择这个而不是robo 3T单纯是因为功能和后期的支持.studio 3T基础 ...
win 10 安装时候无法格式化分区，错误 0x80070057
@[TOC]win 10 安装时候无法格式化分区,错误 0x80070057 参考: https://www.partitionwizard.com/partitionmagic/windows-co ...
win 10 安装IIS localhost 或 127.0.0.1 出现空白
今天Win 10 安装 IIS 服务后页面刷新 localhost 出现空白,后查阅多方文档,有的说是重定向,HTTP错误等,实验均不成功,后发现只要勾选静态内容即可.
WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录
文章目录 0. 常规解压安装,并添加环境变量 1. 下载并覆盖 bin 文件夹 2. 使VERSION文件的clusterID一致 3. 贴下单机配置 4. 测试 Hadoop 5. 安装Spark ...
Conda各平台安装配置和使用Python环境（保姆级教程）
Conda是python程序运行环境的管理工具.Python是目前最流行的计算机语言,由于python是胶水语言,功能上的实现依赖第三方包.有的python脚本需要特定版本的依赖包运行,如果直接在电脑 ...
python软件安装步骤-Linux中Python 环境软件包安装步骤
简介: 记录一下关于 Python 环境软件包的一些安装步骤 1.升级 Python 到 2.7.10( 默认 2.6.6 ) shell > yum -y install epel-relea ...
Ubuntu 12.10 安装JDK、Hadoop全过程
目睹这头大象是怎么跳的舞.以下是我在Ubuntu 12.10下面安装JDK以及Hadoop的整个过程. 说明:在最开始时,我在网上各处搜比较妥当的安装hadoop的方法,过程比较纠结:后来才发现直接在 ...

win 10 安装单点Spark+Hadoop+Python环境

软件版本

环境变量配置

测试

win 10 安装单点Spark+Hadoop+Python环境相关推荐

最新文章

热门文章