windows10下搭建spark平台
今天早上忙完了手里现有的工作后，打算把spark装一下，其实之前读研的时候也安装过，不过后来重装系统了就清除掉了，今天再次安装一下。
首先说一下安装spark必备的一些基础：
1. jdk配置网上很多，就不多说了
2. scala的安装，这个要注意的就是跟jdk的版本匹配，我之前在这里就折腾了挺多的时间的，因为安装了最新的scala导致与jdk版本不匹配，scala自然也无法执行了。
这里说一下自己的版本吧：jdk用的1.8的，scala用的2.11的
接下来就是正式的安装过程了
1. spark的下载地址：http://spark.apache.org/downloads.html（我使用的是2.3的）
2. hadoop的下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz（我用的2.8的）
下载完成后，spark可以直接解压缩即可（路径中不要出现空格，否则后面问题很多）
hadoop直接解压缩的话会报错“客户端没有需要的权限”，关于这个问题我查了网上很多的材料，很多人都说可以使用命令：icacls c:\ /setintegritylevel M 来解决（以管理员身份来运行）
貌似还要修改注册表等计算机属性，个 人觉得比较麻烦，可能会带来其他的问题，我采用的方法是：
以管理员身份运行解压缩软件即可
3. 两个压缩文件都解压缩后就可以配置相关环境变量了，把spark的bin和sbin都加入到系统路径中去；hadoop的话需要下载
https://github.com/steveloughran/winutils这里的文件，找到对应的版本下面的bin目录来对原始hadoop的bin目录进行替换即 可，之后将bin目录加入到系统路径中就可以了。
在CMD窗口中输入： spark-shell，出现如下界面即为安装成功了
好了，终于折腾完了，mark一下，该午睡会了！
windows10下搭建spark平台相关推荐
- Windows10 下搭建汇编语言开发环境（ 利用 DOSBOX 和 MASM32 ）
Windows10下搭建汇编语言开发环境(利用DOSBOX和MASM32):https://www.cnblogs.com/zyever/p/7919007.html 如何在win10 64位下搭载汇 ...
- linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法
Spark编程环境 Spark 可以独立安装使用,也可以和Hadoop 一起安装使用.在安装 Spark 之前,首先确保你的电脑上已经安装了 Java 8 或者更高的版本. Spark 安装 访问 S ...
- 平台搭建---spark平台搭建
准备好相关环境 主要是在集群电脑上安装好java JDK,设置好电脑主机名称,配置Ip地址,利用ssh进行电脑间的连接,并测试好网络连接可靠.搭建hadoop系统(sprak本身不依赖hadoop,这 ...
- Windows10下搭建汇编语言开发环境（利用DOSBOX和MASM32）
------------------------------------ 版权信息 ------------------------------------ 此文链接: http://blog.csd ...
- gitbook安装与使用之windows下搭建gitbook平台
最近需要在GitBook中去阅读电子书 安装nodejs cnpm安装gitbook 解压书籍文件,并cd到书籍文件目录 gitbook serve 浏览器访问localhost:4000 先在win ...
- 音视频之——FFmpeg教程（二）——Windows10下搭建nginx-rtmp流媒体服务器
前言 前一篇我们知道了如何配置FFmpeg开发环境,接下来,就开始简单的推流吧.说到推流前,我们要知道常用的几个直播推流协议. 直播推流协议 在搭建服务之前先了解下目前主流的几个直播协议: RTMP: ...
- Centos7下搭建LAMP平台环境
centos发布7.0版本,新版本带来很多特性,除了内核更新到3.10外,支持 Linux 容器.Open VMware Tools 及 3D 图像能即装即用,转用 systemd.firewalld ...
- Windows10下搭建jekyll环境
Win10下安装jekyll搭建个人博客 前言 几年前看到网上大神自己搭建的个人博客网站,就想过搭建一个属于自己的个人博客网站,为此还专门去研究了建站所需技能,但是购买了域名和云虚拟主机后由于其它事情 ...
- Windows10下搭建Java环境（最新教程）
一.JDK的下载和安装 编辑和开发运行Java程序需要下载(Java Development Kit),本文以安装JDK-15.02为例,操作系统为64位的Windows10,具体步骤如下: Orac ...
- CentOS 7下搭建LAMP并把MySQL单独分离
CentOS 7下搭建LAMP并把MySQL单独分离 原文:http://www.linuxidc.com/Linux/2017-05/144037.htm 环境: 系统:CentOS-7-x86_6 ...
最新文章
- Shell常用内容汇总
- 推荐8个高质量的小众实用APP，解决你的痛点需求
- UVA 10214 Trees in a Wood
- 数字三角形路径最小值c语言题目,算法学习——动态规划之点数值三角形的最小路径...
- php刷数据库数据库,php数据库操作种
- 总结篇——nginx代理服务器
- PCIe5.0 协议
- Shiro-单点登录原理
- 晒下自己App广告平台积分墙收入，顺便点评几个广告平台
- 思维导图-第三章-存货
- 最详BF算法和KMP算法
- 利用笔触素材制作逼真毛笔字
- DCA1000 Training Video(DCA1000培训视频)
- 通过cmd命令行操作mysql
- 新冠疫情可视化（7月11日，7月12日）
- 关于sockjs.js?9be2:1606 GET http://****/sockjs-node/info?t=1581148413474 net::ERR_CONNECTI 错误解决方案
- 八大排序算法(C语言)
- wps转word怎么转？转换途径说明
- 湖南文旅数据中心：湖南文旅数据早知道（9月9日）
- 数据库排行榜｜当 DB-Engines 遇见墨天轮国产数据库排行