踩坑事件：windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件

这个大坑... ....

如题，在Windows的eclipse中编写SparkSQL代码时，编写如下代码时，一运行就抛出一堆空指针异常：

       val conf = new SparkConf().setAppName("GenreicSaveLoad").setMaster("local")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
val df = sqlContext.read.load("D:\\tmp\\spark\\users.parquet")
df.write.save("D:\\tmp\\spark\\namesAndFavColors_scala")

这个纠结啊... ...。

后来将数据保存到hdfs上可以运行。于是我误以为不能再本地保存，后来google了一下，看很多demo都是将数据保存到本地的parquet中，于是这个猜测否决了。

后来在这里找到了答案：http://stackoverflow.com/questions/25505365/parquet-file-in-spark-sql

其回复如下：

Spark is compatible with Windows. You can run your program in a spark-shell session in Windows or you can run it using spark-submit with necessary argument such as "-master" (again, in Windows or other OS). You cannot just run your Spark program as an ordinary Java program in Eclispe without properly setting up the Spark environment and so on. You problem has nothing to do with Windows.

后来又在linux 上的spark-shell上验证了一下，可以本地保存的!!!!【本地运行读取集群上的数据目录也是可以的】

所以啊，要想保存在本地，还是使用spark-submit吧，不要直接在eclipse中运行了。

踩坑事件：windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件相关推荐

在Windows操作系统下，由操作系统分配的内存就叫做堆
堆(Heap) 上面的工作是编译器做的,即程序员并不参与堆栈的维护.但上面已经说了,堆栈相当于在编译时期分配内存,因此一旦计算好某块内存的偏移,则这块内存就只能那么大,不能变化了(如果变化会导致其他内 ...
C++：Windows环境下基于Eclipse配置C/C++开发环境
C++:Windows环境下基于Eclipse配置C/C++开发环境目录 Windows下的MinGW下载.安装和配置 1.MinGW下载 2.MinGW安装与配置 3.基于Eclipse配置 Wi ...
android usb没有读写节点,2019踩坑无数含泪写下最新教程系列（三）树莓派挂载android（树莓派通过usb读取手机里面档案）...
2019踩坑无数含泪写下最新教程系列(三)树莓派挂载android(树莓派通过usb读取手机里面档案) STEP1: Install packages Install support for MTP: ...
R语言图形编辑器GUI开发环境RStudio安装（Windows操作系统下、RStudio开发环境安装）
R语言图形编辑器GUI开发环境RStudio安装(Windows操作系统下.RStudio开发环境安装) RStudio是R语言的集成开发环境(IDE),它是一个独立的开源项目,它将许多功能强大的编程 ...
Win系统下用Eclipse中运行远程hadoop MapReduce程序出现Permission denied错误
Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错 WARNING: job_local1833185613_0001 org.apache.hadoop.securi ...
mac下在eclipse中怎样清除/切换svn
mac下在eclipse中怎样清除/切换svn 1.打开终端,即用户的根文件夹(用户的home文件夹) 进入.subversion下的auth文件夹 localhost:auth brj$ pwd / ...
用Javascript代码实现浏览器菜单命令(以下代码在 Windows XP下的浏览器中调试通过
每当我们看到别人网页上的打开.打印.前进.另存为.后退.关闭本窗口.禁用右键等实现浏览器命令的链接,而自己苦于不能实现时,是不是感到很遗憾?是不是也想实现?如果能在网页上能实现浏览器的命令,将是多么有 ...
如何在Windows环境下的VS中安装使用Google Protobuf完成SOCKET通信
http://blog.csdn.net/whuancai/article/details/11994341 如何在Windows环境下的VS中安装使用Google Protobuf完成SOCKET通 ...
sts html自动提醒,STS、Eclipse中编写java、html、javascript文件的自动提示设置 html标签属性提示总结...
总结:STS.Eclipse中编写java.html.javascript文件的自动提示设置 html标签属性提示解决方案: 一.HTML ①鼠标右键点击创建的文件,选择[Properties] ② ...
eclipse 导入项目_JAVA编程实战：坦克大战系列2-坦克如何在eclipse中编写
游戏中寻找学习JAVA的乐趣之坦克大战系列2-坦克如何在Eclipse中编写前言本篇主要对Robocode在eclipse中如何配置并编写. Eclipse中的配置通过本身自带的编辑器去写代码 ...

踩坑事件：windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件

踩坑事件：windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件相关推荐

最新文章

热门文章