windows 10 安装 spark 环境（spark 2.2.1 + hadoop2.7）

安装步骤基本参考 Spark在Windows下的环境搭建。不过在安装新版本 spark2.2.1（基于 hadoop2.7）的配置时，略略有一些不同。

1. sqlContext => spark.sqlContext

在启动日志中未出现，SQL context available as sqlContext.也不足为奇，因为在新版本的 spark 中 sqlContext 对象已封装进 Spark session，也即 spark-shell 中的 spark 下。

2. winutils.exe

为虚拟文件夹 /tmp/hive 修改权限时，应使用 winutils.exe 的绝对路径，如：

D:\Program Files\hadoop\bin\winutils.exe chmod 777 /tmp/hive

windows 10 安装 spark 环境（spark 2.2.1 + hadoop2.7）相关推荐

Windows 10安装Oracle时出现报错：INS-13001环境不满足最低要求
大家好,我是一名职场小白.前几天有同学私信我说windows 10安装Oracle数据库时报错了,虽然是一个很小的错误,但他还是很当回事儿,他的学习态度很让我感动,帮他解决之后我就在想其实生活中包括工 ...
Windows 10 安装使用TensorFlow-GPU
Windows 10 安装使用TensorFlow-GPU 当前环境描述:Win10 64位,Python3.6 目标:安装使用TensorFlow1.6-GPU 所需文件:Cuda9.0.Cudnn ...
Windows 10配置GPU环境
Windows 10配置GPU环境查看显卡型号下载安装显卡驱动下载安装CUDA 查看本机显卡驱动版本查看CUDA和显卡驱动的对应关系下载安装CUDA 下载cuDNN 验证安装验证CUDA ...
定制 Windows 10 安装程序
定制 Windows 10 安装程序文章目录定制 Windows 10 安装程序准备WinPE 修改WinPE 挂载winpe 添加中文语言支持[1](#refer-anchor-1) 修改Wi ...
windows10 安装linux,windows 10安装linux(ubuntu)子系统
windows10安装ubuntu子系统系统之前一直在虚拟机中使用linux系统,但是不是很方便,后来发现windows下也有了linux系统.感觉还不错 1. 打开windows应用市场micro ...
mac android usb驱动 win10,如何从Mac OS X创建Windows 10安装程序USB驱动器 | MOS86
Windows 10能够在双引导环境中运行在所有现代的Mac硬件,由于Boot Camp.如果您打算在同一台Mac上与OS X一起运行Windows,您将需要从USB驱动器创建一个可引导的Window ...
Windows 10 安装 ADB (Android Debug Bridge，Android 调试桥)
Windows 10 安装 ADB (Android Debug Bridge,Android 调试桥) Android Debug Bridge (adb) is a command line to ...
Windows 10安装office2013失败
Windows 10安装office2013失败问题解决方法问题给别人的Windows 10安装软件,卸载Microsoft Office Desktop App(office365)之后安 ...
Windows 10安装配置Theano(转载)
原文地址:<Windows 10安装配置Theano | 飘零博客> 前两天,看书的时候,测试书中的代码.结果,各种报错,更加无语的是Python明明安装了Theano模块,导入模块的时候 ...
2020-08-21 Windows 10安装 Anaconda+tensorflow 配置GPU
Windows 10安装 Anaconda+tensorflow 配置GPU 参考链接 https://blog.csdn.net/hitzijiyingcai/article/details/833 ...

windows 10 安装 spark 环境（spark 2.2.1 + hadoop2.7）

1. sqlContext => spark.sqlContext

2. winutils.exe

windows 10 安装 spark 环境（spark 2.2.1 + hadoop2.7）相关推荐

最新文章

热门文章