背景

pyspark作业在cluster模式提交时候除了执行的文件外，如果有其他依赖的话，需要用–py-files导入，如果是导入一个python包(带__init__.py的文件夹)的话，需要先打包成zip包。(只是一种方式，也可以打包环境上传HDFS，和本文无关不多说)
如: 想要调用的request包如果dn节点的机器上没有的话，可以把源码直接打成zip然后才可以调用

--py-files request.zip

对于一个项目来说，很少有一个文件就能写完的，都是按模块去编写的，这就需要打包后放到依赖中，如果文件有改动就需要重新打包

zip -r -0  xxx.zip  xxx  # -r: 目录  -0： 只存储不压缩

当有五六个模块的时候每次都调用zip命令去打包很麻烦，自然而然的就想到去写一个打包脚本
比如把脚本放到项目的bin文件下, 可以写成这样

# bin/zip.sh
zip -r -0 model1.zip model1  # 打包模块1
zip -r -0 model2.zip model2  # 打包模块2
zip -r -0 model3.zip model3  # 打包模块3

这样可以在项目目录下执行 bin/zip.sh 就把所有要打包的模块都打好了

坑与改进

现在的问题是，这个shell脚本只能在项目目录下执行，想在其他地方执行就要先切过来，比较麻烦
做如下改写

# ！这是一个有问题的脚本！
FILE_PATH=$(readlink -f "$0")   # 这个脚本文件的绝对路径
WORK_PATH=${FILE_PATH}/../  # 项目目录zip -r -0 ${WORK_PATH}/model1.zip ${WORK_PATH}/model1  # 打包模块1
zip -r -0 ${WORK_PATH}/model2.zip ${WORK_PATH}/model2  # 打包模块2
zip -r -0 ${WORK_PATH}/model3.zip ${WORK_PATH}/model3  # 打包模块3

打包，spark-submit，然后会发现master报错

Traceback (most recent call last):File xxxx, line xx, in xxx
ImportError: No module named model1

看下提交日志也会发现依赖项确实提交上去了，但是没有生效
如果把日志里给出的上传路径下的包拿下来也能发现和在本地打好的包是完全相同的
重试N次无解，百度发现Stack Overflow上有一哥们有相同的问题 https://stackoverflow.com/questions/27644525/pyspark-py-files-doesnt-work 但是也无解，下边的评论给的都是sc.addFile，也试了下无效。
决定在本地模拟加载试一下, --py-files的目的是把这个参数给出的包都放到了PYTHONPATH这个环境变量下，遂本地手动加载

export PYTHONPATH=model1.zip
mv model1 model1.back  # 改名 防止读到这

然后试一下

import model1

输出和spark作业的输出很一致

Traceback (most recent call last):File xxxx, line xx, in xxx
ImportError: No module named model1

包不行。。。解压一下

unzip model1.zip

发现是一个 User的文件夹(mac环境试的)
查了一圈发现 zip 命令会把文件夹结构也都打包进去
所以不能用绝对路径
同时也不能用 -j 参数，因为python的zip包要求解压后是个文件夹
于是采用如下方案修改脚本

FILE_PATH=$(readlink -f "$0")   # 这个脚本文件的绝对路径
WORK_PATH=${FILE_PATH}/../  # 项目目录
cd WORK_PATH
zip -r -0 model1.zip model1  # 打包模块1
zip -r -0 model2.zip model2  # 打包模块2
zip -r -0 model3.zip model3  # 打包模块3

这样就能正常work啦~

zip命令的坑 pyspark --py-files导入zip包不生效 / python导入zip包不生效相关推荐

python导入自定义模块_ubuntu下Python导入自定义模块的方法
ubuntu下Python导入自定义模块的方法当在python程序中导入自定义模块时,若出现"Import Error:no module named xxx"表明系统在pyth ...
python导入模块失败_关于python导入模块失败的问题
1.下载netsnmp的源码包, net-snmp-5.7.3.zip 2.解压并安装,tar xzvf net-snmp-5.7.3.zip; cd net-snmp-5.7.3; ./config ...
python导包顺序_2019-03-21 python导入包以及Python程序执行顺序理解
http://codingpy.com/article/python-import-101/ https://segmentfault.com/a/1190000009842139 (一)Python ...
linux zip压缩包大小,Linux中巧用zip命令压缩和解压缩文件
在Windows中,我们用得最多的解压缩软件就是WinRAR了,这个软件对我们实现解压缩非常方便.但是如果在Linux系统中,我们还可以尝试用命令来实现对文件的解压缩,这篇文章主要介绍在Linux中用 ...
python 导入自定义模块
python 导入自定义模块文章目录 python 导入自定义模块相同文件夹下文件目录 `module1.py` 自定义模块 `demo.py` 引用文件不同文件夹下文件目录 `__init ...
python包导入方式_python导包的几种方法(自定义包的生成以及导入详解)
python 导入数据包的几种方法 1.直接导入整个数据包:improt 数据包 2.导入数据包中的某一个函数: from 数据包 improt 函数(当函数这一项为 * 时为导入整个数据包) 3. ...
python3 zip命令_Python调用zip命令正确操作方法解析
当我们在应用Python编程语言进行程序开发的时候,我们会发现这一语言可以帮助我们轻松的完成一些特定的功能需求.在这里我们就先一起来了解一下Python调用zip命令的使用方法,以此了解这一语言的操作 ...
python导入类有红线_python踩坑系列之导入包时下划红线及报错“No module named”问题...
python踩坑系列之导入包时下划红线及报错"No module named"问题使用pycharm编写Python时,自己写了一个包(commontool),在同级另一个路径下 ...
linux 解压所有以zip结尾的文件_在 Linux 上压缩文件：zip 命令的各种变体及用法...
除了压缩和解压缩文件外,你还可以使用 zip 命令执行许多有趣的操作.这是一些其他的 zip 选项以及它们如何提供帮助. -- Sandra Henry-stocker(作者) 为了节省一些磁盘空间并 ...

zip命令的坑 pyspark --py-files导入zip包不生效 / python导入zip包不生效

背景

坑与改进

zip命令的坑 pyspark --py-files导入zip包不生效 / python导入zip包不生效相关推荐

最新文章

热门文章