大数据时代--windows下spark的安装与配置教程

2017年10月19日 10:34:25 Silence-wen 阅读数：9256 标签：大数据hadoopscalaspark

 Spark作为一个基于内存的开源计算框架，在这个大数据时代背景下，受到越来越多的开发者的喜爱，相对于Hadoop,Spark拥有对大量数据更快的处理速度，并且易于使用（支持多种开发语言）。比Hadoop具有更多的优点，怎能不让人想去尝试一下Spark的魅力呢？了解Spark的都知道Spark是用Scala写的，那么要想在windows下来运行Spark少不了的就要先安装Scala。
首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。
那么，我们就可以安装Scala了

一、安装Scala
下载地址：http://www.scala-lang.org/download/all.html

进入页面后选择一个Scala版本进行下载，我选择的是Scala2.12.0版本。特别注意的是看帖子又的说Scala版本与Spark版本之间是有一定关联的，比如说你的Scala版本是2.12.0，那么就应该下载Spark版本为从1.3.0到Spark 1.6.2之间的各个版本。这种说法不知道准不准确，但是还是注意一下比较好。
Scala安装好之后呢，它会自动在环境变量PATH里面配置。我们不需要进行手动配置了。下面就打开cmd输入Scala看下安装后控制台的输出效果。
如果出现一下信息，那么就证明Scala已经安装成功了。
需要注意的是：如果在控制台输入scala之后输出没有出现版本信息，那么就需要你手动替换掉安装Scala时自动配置的变量。

既然Scala已经安装成功了，那么我们就可以继续安装我们的主角Spark了
二、安装Spark
同样的我会附上Spark下载地址：http://spark.apache.org/downloads.html

这里引用了别人的一张图片，因为公司网络有限制，导致访问页面布局错误，所以网上找了一张图片来给大家展示一下。

那么，当我们下载好之后，Spark是不需要进行安装的，直接解压到Spark目录，然后配置一下Path环境变量就可以了

我的Spark目录为E:\spark\bin
下面我们来验证一下看spark是否能正常启动。
在控制台输入一下命令：spark-shell
注意spark-shell之间是没有空格的，千万不要输错了。
情况看图片

到这里就说明我们的准备工作已经做完了吗？显然不是，虽然控制台已经输出了Spark信息，但是并不是已经完全ok的，等待10秒钟左右控制台会继续输出信息。如下

看到图中报错信息是不是快要崩溃了？别着急，听我慢慢道来
这里主要是因为Spark是基于Hadoop的，所以这里也有必要配置一个Hadoop的运行环境。
三、Hadoop下载
地址：https://archive.apache.org/dist/hadoop/common/
进去之后尽量往下翻，越是下面的版本越新。

由于我们之前选择下载spark的时候是基于Hadoop2.6版本的，所以我这里选择的是hadoop2.6.4版本
下载完毕后我们直接解压，解压完毕后开始设置我们的环境变量
需要设置的变量有
HADOOP_HOME：E:\hadoop-2.6.4 （解压目录）
PATH：E:\hadoop-2.6.4\bin
上诉内容都准备好之后再次重新打开控制台输入spark-shell如果还有以上错误日志，那么请找到你的hadoop\bin目录找下里面有没有winutils.exe文件，如果没有的话，我们需要去下载。
winutils.exe下载地址https://github.com/steveloughran/winutils
进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。下载好之后我们把它放到E:\hadoop-2.6.4\bin 里面，确保该目录中有winutils.exe文件。

那么下面就需要在控制台输入一下命令来修改权限

E:\hadoop-2.6.4\bin\winutils.exe chmod 777 /tmp/hive

注意该命令需要根据你实际的hadoop所在目录。
好了，经过这么多的准备工作，我想我们的spark到此已经安装完毕了。下面我们重新打开一个控制台窗口输入spark-shell看下结果吧。

如果你看到上诉两图所圈住的日志信息，那么，恭喜您，spark已经安装成功了！

大数据时代--windows下spark的安装与配置教程相关推荐

c# 访问hbase_大数据技术 windows下C#通过Thrift操作HBase
本篇教程探讨了大数据技术 windows下C#通过Thrift操作HBase,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入. < 1.到apache官网下载Thrift源 ...
大数据云图:如何在大数据时代寻找下一个大机遇 - 电子书下载（高清版PDF格式+EPUB格式）...
大数据云图_如何在大数据时代寻找下一个大机遇-大卫•芬雷布在线阅读百度网盘下载(8544) 书名:大数据云图:如何在大数据时代寻找下一个大机遇作者:大卫•芬雷 ...
Windows下Memcached的安装与配置
Windows下Memcached的安装与配置安装: 1.下载memcached, http://www.danga.com/memcached/ ; 2.解压,比如放在 D:\memcached- ...
Windows下Tuxedo的安装与配置-无数据库
Windows下Tuxedo的安装与配置-无数据库草木瓜 2005-5-18 一.安装前的文件准备下载Tuxedo For Windows版本和License文件,本机采用的是Tuxedo9 wi ...
Windows下Tuxedo的安装与配置
Windows下Tuxedo的安装与配置-无数据库一.安装前的文件准备下载Tuxedo For Windows版本和License文件,本机采用的是Tuxedo9 windows版本.具体 Win ...
Windows下Git下载安装详细图文教程（亲测有效）
Windows下Git下载安装详细图文教程(亲测有效) 文章目录 Windows下Git下载安装详细图文教程(亲测有效) 一.Git的下载 1.1官网下载 1.2 资源下载二.Git的安装三.总结 ...
Linux系统下禅道的安装以及配置教程
Linux系统下禅道的安装以及配置教程首先查看Linux安装的版本,64的还是32的! 查看Linux版本:[root@localhost ~]# getconf LONG_BIT 1.Linux中 ...
Windows下Solr的安装与配置，附DIH全量导入MySQL数据、IK分词器配置详解——不用集成Tomcat
Solr是Apache开源的比较稳定的一款全文搜索引擎,也是市面上相对比较流行的一款全文搜索引擎,好不好用你用过之后自有判断.今天给大家分享一下它的安装与配置,我用的是7.7.2版本.废话不多说,开搞 ...
全网最详细的大数据集群环境下如何正确安装并配置多个不同版本的Cloudera Hue（图文详解）...
不多说,直接上干货! 为什么要写这么一篇博文呢? 是因为啊,对于Hue不同版本之间,其实,差异还是相对来说有点大的,具体,大家在使用的时候亲身体会就知道了,比如一些提示和界面. 全网最详细的大数据集群 ...

大数据时代--windows下spark的安装与配置教程

大数据时代--windows下spark的安装与配置教程相关推荐

最新文章

热门文章