python open permission denied_spark-submit python 程序,/home/.python-eggs permission denied 问题解决...
问题描述,spark-submit 用 yarn 模式提交一个python 脚本运行程序,运行到需要分布式的部分,即map/mapPartition等等RDD的时候,或者actor RDD的时候,报错如下 :
Traceback (most recent call last):
File "/usr/lib64/python2.7/runpy.py", line 151, in _run_module_as_main
mod_name, loader, code, fname = _get_module_details(mod_name)
File "/usr/lib64/python2.7/runpy.py", line 101, in _get_module_details
loader = get_loader(mod_name)
File "/usr/lib64/python2.7/pkgutil.py", line 464, in get_loader
return find_loader(fullname)
File "/usr/lib64/python2.7/pkgutil.py", line 474, in find_loader
for importer in iter_importers(fullname):
File "/usr/lib64/python2.7/pkgutil.py", line 430, in iter_importers
__import__(pkg)
File "/data8/yarn/local-dir/usercache/bo.feng/appcache/application_1448854352032_70810/container_1448854352032_70810_01_000002/pyspark.zip/pyspark/__init__.py", line 41, in
File "/data8/yarn/local-dir/usercache/bo.feng/appcache/application_1448854352032_70810/container_1448854352032_70810_01_000002/pyspark.zip/pyspark/context.py", line 35, in
File "/data8/yarn/local-dir/usercache/bo.feng/appcache/application_1448854352032_70810/container_1448854352032_70810_01_000002/pyspark.zip/pyspark/rdd.py", line 51, in
File "/data8/yarn/local-dir/usercache/bo.feng/appcache/application_1448854352032_70810/container_1448854352032_70810_01_000002/pyspark.zip/pyspark/shuffle.py", line 33, in
File "build/bdist.linux-x86_64/egg/psutil/__init__.py", line 89, in
File "build/bdist.linux-x86_64/egg/psutil/_pslinux.py", line 24, in
File "build/bdist.linux-x86_64/egg/_psutil_linux.py", line 7, in
File "build/bdist.linux-x86_64/egg/_psutil_linux.py", line 4, in __bootstrap__
File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 945, in resource_filename
self, resource_name
File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 1633, in get_resource_filename
self._extract_resource(manager, self._eager_to_zip(name))
File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 1661, in _extract_resource
self.egg_name, self._parts(zip_path)
File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 1025, in get_cache_path
self.extraction_error()
File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 991, inextraction_error
raise err
pkg_resources.ExtractionError: Can't extract file(s) to egg cache
The following error occurred while trying to extract file(s) to the Python egg
cache:
[Errno 13] Permission denied: '/home/.python-eggs'
The Python egg cache directory is currently set to:
/home/.python-eggs
Perhaps your account does not have write access to this directory? You can
change the cache directory by setting the PYTHON_EGG_CACHE environment
variable to point to an accessible directory.
解决方案:
1、在你的map/mapPartition 里面的代码里面加上:
os.environ['PYTHON_EGG_CACHE'] = '/tmp/.python-eggs/'os.environ['PYTHON_EGG_DIR']='/tmp/.python-eggs/'
2、在集群的每一台机器上面配置环境变量(推荐):
os.environ['PYTHON_EGG_CACHE'] = '/tmp/.python-eggs/'os.environ['PYTHON_EGG_DIR']='/tmp/.python-eggs/'
3、打开spark的根目录,cd到python/lib,找到pyspark.zip文件,解压文件,cd 到pyspark里面,找到rdd.py ,vim打开,找到 “import os”这一行,在这行下面插入代码:
os.environ['PYTHON_EGG_CACHE'] = '/tmp/.python-eggs/'os.environ['PYTHON_EGG_DIR']='/tmp/.python-eggs/'
以上三种方案都不能解决这个问题的话,建议先用 hadoop 的streaming 功能 提交一个python 的执行文件,测试yarn是否支持python运算。
然后再看看用spark的standalone模式是不是可以提交python任务。
以上。
如果还有问题,那就只能发邮件给spark的开发组了。
python open permission denied_spark-submit python 程序,/home/.python-eggs permission denied 问题解决...相关推荐
- python编码转换语句_好程序员Python教程之字符串编码知识小结
好程序员Python教程之字符串编码知识小结,提及Python字符串,你会想到什么?是ASCII,还是Unicode?他们之间是如何转换的?字符串编码和字符串有什么区别?接下来好程序员Python教程 ...
- python视频教程黑马-python视频教程免费:求黑马程序员python教程?
python后端开发需要学什么? 第一阶段:Python语言基础 主习Python最基识,如Python3.数据类型.字符串.函数.类件操作等.阶段课程结束后,学员需要完成Pygame实战飞机大战.2 ...
- 设置按键退出python pygame动画(animation)程序,python检测键盘按键
功能:设置按键退出python pygame动画(animation)程序,python3.6检测键盘按键 pygame运行起来,不弄个强行终止都刹不住....为此研究了一下怎么退出. 实现的效果是: ...
- python计算在月球的体重程序_# Python程序语言设计基础(第二版)程序练习题
Python程序语言设计基础(第二版)程序练习题 3.1 重量计算,月球上物体的体重是在地球上的16.5%,假如你在地球上每年增长0.5kg,编写程序输出未来10年你在地球和月球上的体重状况. cur ...
- python四则运算程序_四则运算小程序(Python)
二. 题目要求 写一个能自动生成小学四则运算题目的程序,然后在此基础上扩展: 1)除了整数以外,还要支持真分数的四则运算,例如:1/6+1/8=7/24 2)程序要求能处理用户的输入,判断对错,累积分 ...
- 三、python基础语法进阶篇(黑马程序猿-python学习记录)
黑马程序猿的python学习视频:https://www.bilibili.com/video/BV1qW4y1a7fU/ ====================================== ...
- python 列表间隔取值_程序从Python中的间隔列表中查找最长间隔的长度
假设我们有一个间隔列表,其中每个间隔的格式为[start,end].我们必须找到可以合并任意数量的重叠间隔的最长间隔. 因此,如果输入类似于[[1,6],[4,9],[5,6],[11,14],[16 ...
- 使用 Python 从零开始开发区块链应用程序
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. "区块链"是什么? 区块链是一种存储数字数据的方式.数据可以是任何内容.对于比特币,它是事务(在帐户 ...
- python编程入门与案例详解-quot;Python小屋”免费资源汇总(截至2018年11月28日)...
原标题:"Python小屋"免费资源汇总(截至2018年11月28日) 为方便广大Python爱好者查阅和学习,特整理汇总微信公众号"Python小屋"开通29 ...
- python 0o10_Python 从业十年的程序员,写的万字经验分享
作者:laisky(基于 CC BY 4.0 授权许可) 原题:Python之路(内容略有调整) 来源:https://laisky.com/p/python-road 本文起源于我在 Twitter ...
最新文章
- 事务处理不当,线上接口又双叒内存泄漏了!(附图解问题全过程)
- Fastp对fastq质控
- 001.Parted工具使用
- oracle pl sql 抛出例外
- python 类函数 实例函数_python_30期【实例函数 类里面的函数】
- 常见设计模式的思考1
- 2017年5月13日 恒生电子笔试题
- Android LitePal使用总结
- ASP.NET MVC 5高级编程 (pdf书)
- java程序员的待遇_想学java,一般的java程序员的薪资待遇是多少?
- 什么是云桌面?未来有可能替代电脑吗?
- A protocol for Dying
- 在大学生思想政治教育中融入传统礼仪2019管理学EI会议的实现路径
- FAT32 学习及注意事项
- ASP.NET MVC里ModelState.IsValid总是true或者总是false
- 李宏毅老师《机器学习》课程笔记-5 Transformer
- 戴尔新品移动工作站precision3541拆机图
- 链表---给定一个排序链表,删除所有重复的元素每个元素只留下一个
- RealMax携手乐视举办全球AR开发者大赛
- 短语get off to
热门文章
- OpenCV 调用手机摄像头
- 如何用深度学习模型为自己做个漫画画像(含代码流程)
- android 发短信 oppo,OPPO R11短信发送失败怎么办?OPPO手机短信发送失败的解决方法...
- 微信没有回车键怎么换行_微信打字怎么换行
- flutter仿ReadHub+
- 农村小伙从月薪2000多到年薪几十万,我的这条路大多数搬砖人都能走 ǃ
- big_6d77fbb7bde4011fdf01df45fef8d0dd9ddcbdd5.jpg
- 谈谈数据仓库架构的发展和分类
- java销毁servlet_销毁servlet
- vue项目使用 Recorder.js 实现录音功能