python 2.7-为什么PySpark无法找到py4j.java_gateway？

我安装了Spark，运行了sbt程序集，并且可以毫无问题地打开bin / pyspark。 但是，我在将pyspark模块加载到ipython时遇到了问题。 我收到以下错误：

In [1]: import pyspark

---------------------------------------------------------------------------

ImportError Traceback (most recent call last)

in ()

----> 1 import pyspark

/usr/local/spark/python/pyspark/__init__.py in ()

61

62 from pyspark.conf import SparkConf

---> 63 from pyspark.context import SparkContext

64 from pyspark.sql import SQLContext

65 from pyspark.rdd import RDD

/usr/local/spark/python/pyspark/context.py in ()

28 from pyspark.conf import SparkConf

29 from pyspark.files import SparkFiles

---> 30 from pyspark.java_gateway import launch_gateway

31 from pyspark.serializers import PickleSerializer, BatchedSerializer, UTF8Deserializer, \

32 PairDeserializer, CompressedSerializer

/usr/local/spark/python/pyspark/java_gateway.py in ()

24 from subprocess import Popen, PIPE

25 from threading import Thread

---> 26 from py4j.java_gateway import java_import, JavaGateway, GatewayClient

27

28

ImportError: No module named py4j.java_gateway

5个解决方案

65 votes

在我的环境中(使用docker和映像sequenceiq / spark：1.1.0-ubuntu)，我遇到了这个问题。 如果查看pyspark shell脚本，您会发现需要在PYTHONPATH中添加一些内容：

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

那在ipython中为我工作。

更新：如注释中所述，py4j zip文件的名称随每个Spark版本而变化，因此请四处寻找正确的名称。

nealmcb answered 2020-08-08T20:19:35Z

25 votes

我通过在.bashrc中添加一些路径来解决此问题

export SPARK_HOME=/home/a141890/apps/spark

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

此后，它再也不会引发ImportError：没有名为py4j.java_gateway的模块。

Anderson answered 2020-08-08T20:19:59Z

4 votes

在皮查姆，在运行上述脚本之前，请确保已解压缩py4j * .zip文件。并在脚本中添加其引用sys.path.append(“ spark * / python / lib的路径”)

它为我工作。

shubham gorde answered 2020-08-08T20:20:23Z

4 votes

#/home/shubham/spark-1.6.2

import os

import sys

# Set the path for spark installation

# this is the path where you have built spark using sbt/sbt assembly

os.environ['SPARK_HOME'] = "/home/shubham/spark-1.6.2"

# os.environ['SPARK_HOME'] = "/home/jie/d2/spark-0.9.1"

# Append to PYTHONPATH so that pyspark could be found

sys.path.append("/home/shubham/spark-1.6.2/python")

sys.path.append("/home/shubham/spark-1.6.2/python/lib")

# sys.path.append("/home/jie/d2/spark-0.9.1/python")

# Now we are ready to import Spark Modules

try:

from pyspark import SparkContext

from pyspark import SparkConf`enter code here`

print "Hey nice"

except ImportError as e:

print ("Error importing Spark Modules", e)

sys.exit(1)

shubham gorde answered 2020-08-08T20:20:39Z

4 votes

安装pip模块“ py4j”。

py4j

我在Spark 2.1.1和Python 2.7.x中遇到了这个问题。 不确定Spark是否停止在最新发行版中捆绑此软件包。 但是安装py4j模块为我解决了这个问题。

kn_pavan answered 2020-08-08T20:21:03Z