【spark】windows spark 环境搭建

Windows平台环境搭建
JDK	1.8-8u201
Scala	2.11.8
spark	2.2.0
hadoop	2.7.2
sbt	0.13.13.1

上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用，链接：https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw 提取码：mnml

1. 首先安装 JDK

1.JDK下载地址：
http://www.oracle.com/technetwork/java/javase/downloads/index.html

点开链接你应该看到如下图所示的界面：

2.点击上图中箭头所指的地方，会出现下面的这个界面，此时你需要根据你的电脑系统来进行对应的版本进行选择，在选择版本和下载之前你需要首先接收协议，具体界面如下图所示：

3.双击以后进行JDK的安装（记得按照第二幅图修改一下安装路径，不要什么东西都安装到系统盘,安装路径尽量不要有空格）：
（1）双击进行安装界面如下所示：

4.安装完成后，需要进行环境变量的配置，右键我的电脑—属性----高级系统设置就会看到下面的界面：

5.点击上图中的环境变量，然后开始环境变量的配置：
（1）点击系统变量下面的新建按钮，变量名JAVA_HOME（代表你的JDK安装路径），值对应的是你的JDK的安装路径。

（2）继续在系统变量里面新建一个CLASSPATH变量，其变量值如下图所示：

此处需要注意：最前面有一个英文状态下的小圆点。。。。很多初学者在配置环境变量的时候就会跌倒在这个坑里。
（3）在你的系统变量里面找一个变量名是PATH的变量，需要在它的值域里面追加一段如下的代码：

%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

此时你应该在你原有的值域后面追加，记得在原有的值域后面记得添加一个英文状态下的分号。
最后点击确定，此时JDK的环境变量配置就完成了。
6.测试自己所配置的环境变量是否正确
（1）WINDOWS+R键，输入cmd，进入命令行界面，如下所示：

（2）输入java -version命令，可以出现如下图的提示，你可以看你安装的JDK版本。

（3）输入javac命令可以出现如下的提示：

（4）输入java命令就会出现如下图所示的结果

7.写一段代码可以验证一下
（1）我在E盘新建了一个文件夹叫javafile，在里面有一个Java文件，名字叫TestJava.java，此时需要注意，你的文件名字后缀一定是.java
（2）你需要在你的文件里面写下面的代码：

public class TestJava{public static void main(String[] args){System.out.println("I am a  java new learner!");}
}

（3）继续windows+r键进入dos命令行，你需要首先进入你java文件所在的目录，然后分别使用javac命令对你的java文件进行编译，然后使用java命令来解析你的javac命令编译的结果，就会如下图所示这样：

此处一定要注意：必须进入文件所在的目录；其次使用javac命令文件的名字的后面一定要跟着.java的文件后缀；使用java命令时.java后缀可以不用写。
当你执行完javac命令如果没有错误提示，说明通过了编译，就会在你的文件目录下生成一个同名的.class文件。

如果你完成了以上的所有，并且结果显示正确，那么说明你的JDK安装和环境配置都很成功，此时你就可以开始你的JAVA学习了。
JDK1.8 API链接：
http://docs.oracle.com/javase/8/docs/api/
JAVA tutorials:
http://docs.oracle.com/javase/tutorial/

二、Scala的安装

Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产中

因为Scala运行在JVM上，所以应该首先配置好JDK环境，然后下面是Windows安装Scala环境的过程：

1、下载

首先去官网http://www.scala-lang.org/，然后点击导航栏的DOWNLOAD，进入下载链接：http://www.scala-lang.org/download/直接点击上面的按钮下载Windows安装包，Windows下安装包较大，100多M，下载到指定位置，准备安装

2、安装

双击scala-2.12.8.msi安装包，启动安装程序，

单击Next下一步，然后选择安装位置，后来全部默认即可进入安装

安装完毕后，点击Finish退出

到这里Scala安装完毕

3、配置

安装Scala之后，需要配置一下环境变量，从而直接从命令行访问，配置过程和JDK类似

进入Windows环境变量，此处不再详细描述，然后在系统变量中新增SCALA_HOME变量，值是安装位置

然后单击确定，编辑Path变量，在后面追加如下配置：

4、到这里Scala配置完毕，然后检验配置是否成功

运行cmd，输入 scala -version 可以正常输出版本号：

到这里scala就全部配置成功了！

三、spark 安装

下载后解压到指定目录即可，这里我们选择2.2.0版本

http://spark.apache.org/downloads.html

环境变量：

创建SPARK_HOME：D:\spark-2.2.0-bin-hadoop2.7

Path添加：%SPARK_HOME%\bin

测试是否安装成功：打开cmd命令行，输入spark-shell

spark-shell时报错：error not found：value sqlContext。参考：https://blog.csdn.net/wenyusuran/article/details/81509467

四、Hadoop安装

地址：https://archive.apache.org/dist/hadoop/common/
进去之后尽量往下翻，越是下面的版本越新。

由于我们之前选择下载spark的时候是基于Hadoop2.6版本的，所以我这里选择的是hadoop2.6.4版本
下载完毕后我们直接解压，解压完毕后开始设置我们的环境变量，hadoop的环境变量跟配置文件的设置自行百度即可。
需要设置的变量有
HADOOP_HOME：E:\hadoop-2.6.4 （解压目录）
PATH：E:\hadoop-2.6.4\bin
上诉内容都准备好之后再次重新打开控制台输入spark-shell如果还有以上错误日志，那么请找到你的hadoop\bin目录找下里面有没有winutils.exe文件，如果没有的话，我们需要去下载。
winutils.exe下载地址https://github.com/steveloughran/winutils
进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。下载好之后我们把它放到E:\hadoop-2.6.4\bin 里面，确保该目录中有winutils.exe文件。

那么下面就需要在控制台输入一下命令来修改权限

E:\hadoop-2.6.4\bin\winutils.exe chmod 777 /tmp/hive
1
注意该命令需要根据你实际的hadoop所在目录。
好了，经过这么多的准备工作，我想我们的spark到此已经安装完毕了。下面我们重新打开一个控制台窗口输入spark-shell看下结果吧。

如果你看到上诉两图所圈住的日志信息，那么，恭喜您，spark已经安装成功了！