spark如何解决文件不存在_Spark Read.json无法找到文件

嘿，我在AWS上拥有1个Master和1个Slave Node Standalone Spark Cluster . 我的主目录名为〜/ Notebooks . 这是我启动jupyter笔记本并在浏览器中连接jupyter . 我还有一个名为people.json的文件(简单的json文件) .

我尝试运行此代码

from pyspark import SparkContext, SparkConf

from pyspark.sql import SQLContext

conf = SparkConf().setAppName('Practice').setMaster('spark://ip-172-31-2-186:7077')

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)

df = sqlContext.read.json("people.json")

当我运行最后一行时，我收到此错误 . 我不知道文件就在那里......有什么想法？ -

Py4JJavaError：调用o238.json时发生错误 . ：org.apache.spark.SparkException：作业因阶段失败而中止：阶段4.0中的任务1失败4次，最近失败：阶段4.0中丢失任务1.3(TID 37，ip-172-31-7-160.us -west-2.compute.internal)：java.io.FileNotFoundException：文件文件：/home/ubuntu/Notebooks/people.json不存在

spark如何解决文件不存在_Spark Read.json无法找到文件相关推荐

VS发布网站时，报错提示：“未能将文件xxx复制到xxx，未能找到文件xx”三种解决方案！...
发布网站时候大家可能会遇到这样的情况,就是报错提示说:"未能将文件xxx复制到xxx,未能找到文件xx",这个问题一般来说有三种解决方案,个人倾向第三种,如图: 解决方案如下: 方 ...
pyspark —— spark dataframe 从hdfs读写文件：按照指定文件格式读写文件（读写csv、json、text文件，读取hive表，读取MySQL表）、按照指定分隔符读写文件
spark有3种数据结构--RDD.DataFrame.DataSet.这里展示的文件读写方式,都是针对dataFrame数据结构的,也就是文件读进来之后,是一个spark dataFrame. 0. ...
腾讯手游助手android文件夹,腾讯手游助手中找到文件安装目录位置的详细操作方法...
很多的用户在使用腾讯手游助手软件的时候,并不熟悉其中的文件安装目录在什么位置?今日为各位带来的内容就是腾讯手游助手中找到文件安装目录位置的详细操作方法. 首先我们打开腾讯手游助手之后,可以在主界面就看 ...
gg修改器怎么修改服务器文件,gg修改器脚本导入未找到文件范例图片
VoidInitWCB(WCBfar*lpwcb,shortretType,LPSTRlpBuffer,shortcBufferSize); InitWCB的参数说明如下: @@0541701.JPG ...
文件的读写操作（备份，批量操作文件）
随后的代码,使用狗类进行演示说明类名: Dog(狗类) 属性: 姓名 name 年龄 age .... 方法: 吃 eat() 玩 play() ...
分享：文件加密-闪灵文件夹锁如何快速加密大数据文件
现在的大数据文件越来越多,如:电影,视频,软件等,这些资料如果都是你不愿意让别人进行查看,复制,移动,删除等操作的,那该怎么办呢?以下介绍如何使用闪灵文件夹锁快速对大型文件加密的方法. 工具是必要的, ...
vc 文件总行数_Spark中的文件源（上）—— Spark的文件组织方式
作者导读: 在大数据/数据库领域,数据的存储格式直接影响着系统的读写性能.Spark针对不同的用户/开发者,支持了多种数据文件存储方式.本文的内容主要来自于Spark AI Summit 2019中的 ...
C#操作FTP报错，远程服务器返回错误:(550)文件不可用(例如,未找到文件,无法访问文件)的解决方法
C#操作FTP报错,远程服务器返回错误:(550)文件不可用(例如,未找到文件,无法访问文件)的解决方法参考文章: (1)C#操作FTP报错,远程服务器返回错误:(550)文件不可用(例如,未找到文 ...
解决使用Spring Boot、Multipartfile实现上传提示无法找到文件的问题
解决使用Spring Boot.Multipartfile实现上传提示无法找到文件的问题参考文章: (1)解决使用Spring Boot.Multipartfile实现上传提示无法找到文件的问题 ( ...

spark如何解决文件不存在_Spark Read.json无法找到文件

spark如何解决文件不存在_Spark Read.json无法找到文件相关推荐

最新文章

热门文章