spark和python的关系_spark submit和pyspark有什么区别？

如果启动pyspark，然后运行以下命令：import my_script; spark = my_script.Sparker(sc); spark.collapse('./data/')

一切都很好。但是，如果我试图通过命令行和spark submit做同样的事情，我会得到一个错误：Command: /usr/local/spark/bin/spark-submit my_script.py collapse ./data/

File "/usr/local/spark/python/pyspark/rdd.py", line 352, in func

return f(iterator)

File "/usr/local/spark/python/pyspark/rdd.py", line 1576, in combineLocally

merger.mergeValues(iterator)

File "/usr/local/spark/python/pyspark/shuffle.py", line 245, in mergeValues

for k, v in iterator:

File "/.../my_script.py", line 173, in _json_args_to_arr

js = cls._json(line)

RuntimeError: uninitialized staticmethod object

我的剧本：...

if __name__ == "__main__":

args = sys.argv[1:]

if args[0] == 'collapse':

directory = args[1]

from pyspark import SparkContext

sc = SparkContext(appName="Collapse")

spark = Sparker(sc)

spark.collapse(directory)

sc.stop()

为什么会这样？运行pyspark和运行spark submit有什么区别，这会导致这种分歧？我如何才能在spark submit中完成这项工作？

编辑：我试着通过执行pyspark my_script.py collapse ./data/从bash shell运行它，得到了相同的错误。只有当我在一个python shell中并导入脚本时，一切才能正常工作。

spark和python的关系_spark submit和pyspark有什么区别？相关推荐

spider和python的关系_Scrapy框架-Spider和CrawlSpider的区别
1.目标爬取每个页面链接的内部内容和投诉信息 2.方法1:通过spider爬取 # -*- coding: utf-8 -*- import scrapy from dongguanspider.i ...
spark的python开发安装方式,最简单的方式来安装Python依赖关系的Spark执行器节点？...
I understand that you can send individual files as dependencies with Python Spark programs. But what ...
[收藏]基于Spark Graphframes的社交关系图谱项目实战
大家好,我是老兵. 本文是基于Spark Graphframes的社交关系图谱实战演练. 我将结合自身开发和项目经验,分别讲述社交关系图谱原理.图计算原理.Spark Graphframes图计算编程 ...
python使用spark_apache spark - 在python中导入pyspark
apache spark - 在python中导入pyspark 这是另一个从未回答过的论坛上的别人问题的副本,所以我想我会在这里重新提问,因为我有同样的问题. (见[http://geekple.c ...
python与excel结合能做什么-机器学习实践：如何将Spark与Python结合
编辑推荐: 本文来自搜狐,本文主要通过介绍了Apache Spark的一些特性,如何将Spark与Python结合. 在国外,Apache Spark开发人员的平均年薪为110,000美元.毫无疑问, ...
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive ...
spark的python开发安装方式_python 安装spark_Spark环境搭建 (Python)
安装lib 材料:spark : http://spark.apache.org/downloads.htmlhadoop : http://hadoop.apache.org/releases.ht ...
None.org.apache.spark.api.python.PythonAccumulatorV2
完整报错如下: 2019-05-21 15:19:00 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your ...

spark和python的关系_spark submit和pyspark有什么区别？

spark和python的关系_spark submit和pyspark有什么区别？相关推荐

最新文章

热门文章