安装SPARK 环境变量设置

主要涉及到两个地方设置环境变量：
区分下两个变量针对的用户权限，适用范围；
还有pycharm下面针对uttest默认下面的environment的设置；添加SPARK_HOME,以及PYTHONPATH；
另外针对本地跑spark报keyERROR,os[‘SPARK_HOME’]如果不在代码中带上，在项目中进行按上述方式在pycharm的run的菜单栏中，添加SPARK_HOME,以及PYTHONPATH；
vim ~/.profile
vim ~/.bashrc
生效：source ~/.bashrc
环境变量设置：
sudo mv jdk1.8.0_181 /usr/lib
sudo mv scala-2.12.7 /usr/lib
hadoop-2.6.5
export JAVA_HOME=/usr/lib/jdk1.8.0_181
export SCALA_HOME=/usr/lib/scala-2.12.7
export SPARK_MASTER_HOST=localhost #单机下配置为localhost
export HADOOP_CONF_DIR=/home/user/hadoop-2.6.5/etc/hadoop/ #hadoop配置目录
export SPARK_WORKER_MEMORY=8g #给spark分配8G内存
export SPARK_WORKER_CORES=16 #允许spark以16核并行运算

export JAVA_HOME=/usr/lib/jdk1.8.0_181
export SCALA_HOME=/usr/lib/scala-2.12.7
export HADOOP_HOME=/home/tsl/changsha/hadoop-2.6.5
export SPARK_HOME=/home/tsl/changsha/spark-2.3.2-bin-hadoop2.6
export PATH=PATH:PATH:PATH:JAVA_HOME/bin:SCALAHOME/bin:SCALA_HOME/bin:SCALAHOME/bin:SPARK_HOME/bin:SPARKHOME/sbin:SPARK_HOME/sbin:SPARKHOME/sbin:HADOOP_HOME/bin:HADOOPHOME/sbinexportCLASSPATH=.:HADOOP_HOME/sbin export CLASSPATH=.:HADOOPHOME/sbinexportCLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
参考博客：
https://www.cnblogs.com/shixiangwan/p/6159299.html

安装SPARK 环境变量设置相关推荐

jar java classpath_win7中java编程工具安装 java环境变量设置
win7中java编程工具安装 java环境变量设置 Question:编译是显示'javac'不是内部或外部命令,也不是可运行的程序或批处理文件解决: 在[系统变量]里编辑java_home.cl ...
JDK1.6安装与环境变量设置详细图解
JDK1.6安装图解与环境变量设置为初学者详细介绍了JDK从下载到安装,整个开发伊始的那些事究竟是如何呢?让我们开始吧. 一.JDK1.6安装图解之JDK1.6的下载 JDK现在最新版本是JDK1.6 ...
AIX 6.1安装JDK6环境变量设置
AIX 6.1安装JDK6环境变量设置 1.将JDK6_64.sdk.tar.gz上通过FTP以二进制(Binary)模式上传到服务器上 2.解压JDK:gunzip -c JDK6_64.sdk.t ...
1.2 JDK安装与环境变量设置
我们会以Java语言来进行脚本编写,所以需要进行JDK安装以及必要的环境变量设置.本书会使用JDK 8的版本,而不会使用JDK 9(太新的有的软件不兼容). 可以直接取Oracle官网选择相应的JDK ...
indows 平台下 Go 语言的安装和环境变量设置
1. Go 语言 SDK 安装包下载和安装最新稳定版 1.5.3 安装包 go1.5.3.windows-amd64.msi下载地址 https://golang.org/dl/,大小约 69 MB ...
Windows 平台下 Go 语言的安装和环境变量设置
1. Go 语言 SDK 安装包下载和安装最新稳定版 1.5.3 安装包 go1.5.3.windows-amd64.msi下载地址 https://golang.org/dl/,大小约 69 MB ...
Windows平台下Go语言的安装和环境变量设置
1. Go 语言 SDK 安装包下载和安装最新稳定版 1.5.3 安装包 go1.5.3.windows-amd64.msi下载地址 https://golang.org/dl/,大小约 69 MB ...
Intel® oneAPI Base Toolkit+Intel® oneAPI HPC Toolkit安装教程+环境变量设置
安装过程主要参考:https://blog.csdn.net/qq_40180414/article/details/114540317 环境变量过程主要参考:https://blog.csdn.ne ...
JDK1.8的安装与环境变量设置演示，java、jre安装及配置
我来为大家演示 jdk8 的搭建,后面再讲一些 jdk8 和 jdk10 的一些区别. 为什么要安装 jdk8 版本呢,因为现在大多数软件的 java 环境是基于 8 版本的呢! 注: 个别软件还需要 ...

安装SPARK 环境变量设置

安装SPARK 环境变量设置相关推荐

最新文章

热门文章