pyspark on yarn启动jupyter连接不上内核
情况说明
centos 7
hadoop 3.1.3
spark 3.1.3
python 3.6.8
我单独启动jupyter、单独启动pyspark以local模式启动jupyter,没有任何问题
但是使用pyspark on yarn启动jupyter连接不上内核
- jupyter notebook
- pyspark
- PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=“notebook” pyspark
- HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client
以上几种种情况都不会出现这个问题,只有下面这个情况会报错
- PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=“notebook” HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/ MASTER=yarn pyspark
网上找了很多解决方法都对我这个无效
我开始以为是因为spark的问题,换了spark3.2.2 和spark3.1.3都不行
相关报错
- 报错1
[W 21:51:11.646 NotebookApp] Nudge: attempt 10 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:16.708 NotebookApp] Nudge: attempt 20 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:21.776 NotebookApp] Nudge: attempt 30 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:26.841 NotebookApp] Nudge: attempt 40 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:31.895 NotebookApp] Nudge: attempt 50 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:36.955 NotebookApp] Nudge: attempt 60 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:42.028 NotebookApp] Nudge: attempt 70 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:47.079 NotebookApp] Nudge: attempt 80 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:52.140 NotebookApp] Nudge: attempt 90 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:51:57.191 NotebookApp] Nudge: attempt 100 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
[W 21:52:02.256 NotebookApp] Nudge: attempt 110 on kernel 234207ae-161f-4a57-86e8-5b3e1ffa8aa0
- 报错2
[E 21:52:07.093 NotebookApp] Uncaught exception GET /api/kernels/234207ae-161f-4a57-86e8-5b3e1ffa8aa0/channels?session_id=87a7386e44e84e2482d3724efdec54b9 (192.168.204.1)HTTPServerRequest(protocol='http', host='hadoop001:8888', method='GET', uri='/api/kernels/234207ae-161f-4a57-86e8-5b3e1ffa8aa0/channels?session_id=87a7386e44e84e2482d3724efdec54b9', version='HTTP/1.1', remote_ip='192.168.204.1')Traceback (most recent call last):File "/usr/local/lib64/python3.6/site-packages/tornado/websocket.py", line 956, in _accept_connectionawait open_resultFile "/usr/lib64/python3.6/asyncio/tasks.py", line 250, in _wakeupfuture.result()tornado.util.TimeoutError: Timeout
- 报错3
[W 21:50:27.980 NotebookApp] Replacing stale connection: 234207ae-161f-4a57-86e8-5b3e1ffa8aa0:87a7386e44e84e2482d3724efdec54b9
[W 21:50:50.097 NotebookApp] Replacing stale connection: 234207ae-161f-4a57-86e8-5b3e1ffa8aa0:87a7386e44e84e2482d3724efdec54b9
解决办法
虽然不知道为什么,但有时候折磨你10几个小时的问题解决,就是这么简单
pip install --upgrade prompt-toolkit==2.0.4
转折
2022年10月19日14:35:34
就当我中午写完这篇博客,下午换了个jupyter-lab测试的时候,发生了转折
问题又出现了。。。
经过我前后两次控制变量发现,当我使用自己定义的
jupyter_lab_config.py
文件,就会出现这个问题,让我重新生成,或者删去jupyter_lab_config.py
这个文件,就没事了……
因此,问题一定出在我修改的部分选项
我改了以下内容
c.ServerApp.open_browser = False
c.ServerApp.root_dir = '/root/jupyter-workspace'
c.ServerApp.allow_root = True
c.ServerApp.allow_remote_access = True
c.ServerApp.ip = '0.0.0.0'
c.ServerApp.port = 8888
当我设置下面的选项后,即默认打开浏览器,问题解决了。。。
c.ServerApp.open_browser = True
改成True不一定是解决问题的根本原因
,感觉设置成True后,因为xshell自身的问题,会一直弹这个窗,卡主我的终端,我点取消又会弹出来。
但是我发现我不点取消,后面终端内容一直不动,点一次取消就出现一点。
当我发现终端提示这部分后
我注意到这是pyspark运行的提示信息,我就让pyspark多跑一会,晚一点去运行ipynb文件
等了30秒左右再运行,就好了。。。
解决办法
不管有没有设置
c.ServerApp.open_browser = True
看见这条信息之后等个30秒到1分钟
等出现这个提示后再去jupyter上运行代码就ok了
个人猜测如果提前运行,可能是会导致jupyter内部连接内核timeout超时,如果等pyspark运行好了,再运行就没事
参考博客
jupyter“到后台服务的连接没能建立.”
pyspark on yarn启动jupyter连接不上内核相关推荐
- 电脑扩展显示器启动后连接不上,需要重启才能连接
目录 前言 一.关闭win10的快速启动就可以了. 前言 电脑扩展显示器启动后连接不上,需要重启才能连接.开始想到的原因是我的扩展的显示器是旧的,两天没处理每次都是开机后再重启一次,可是聪明的我感觉否 ...
- 启动hiveserver2连接不上jdbc:hive2://localhost:10000
启动hiveserver2连接不上localhost:10000,中间试了很多方法,总结就是/hadoop-3.2.1/etc/hadoop的core-site.xml少了以下配置,加入以下配置后问题 ...
- mysql启动服务但无法连接不上_mysql服务启动却连接不上两种解决办法
这篇文章主要为大家详细介绍了mysql服务启动却连接不上的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 mysql服务启动,但是连接不上,如何解决? 登陆报错: root@localho ...
- Mysql -uroot -p 登陆不上_mysql服务启动却连接不上的解决方法
mysql服务启动,但是连接不上,如何解决? 登陆报错: root@localhost:~# mysql -u root -p Enter password: ERROR 2002 (HY000): ...
- 5e一直连接不上服务器,5E启动csgo连接不上服务器 | 手游网游页游攻略大全
发布时间:2016-08-25 有玩家在玩时遇到了游戏无法连接服务器的问题,对此该怎么解决好呢?下面962乐游网小编就为你带来高玩分享的相关技巧心得攻略,希望大家能喜欢. 一.首先,检查网线或者WIF ...
- Linux下配置jupyter notebook远程访问实战:配置Jupyter的连接密码、启动jupyter服务、远程访问jupyter(关闭防火墙)
Linux下配置jupyter notebook远程访问实战:配置Jupyter的连接密码.启动jupyter服务.远程访问jupyter(关闭防火墙) 目录 Linux下配置jupyter note ...
- Xshell远程连接服务器上的jupyter notebook
用Xshell远程连接服务器上的jupyter notebook 今天浅写一下在Xshell远程连接服务器上已有的jupyter notebook,以后更新一下如何在服务器上部署jupyter not ...
- 虚拟机SSH服务启动 ,但是主机却连接不上
背景说明:安装完Ubuntu虚拟机,并安装好ssh服务软件,在主机上通过工具MobaXterm采用ssh连接,却没有任何反应,始终连接不上. 1.重启SSH服务,查看SSH服务启动情况,发现ssh服务 ...
- mysql和windows连接不上_问题-jdbc连接不上mysql,windows下开启两个mysql服务
1.问题: 前两天安装了个php 环境- wamp,由于我自己电脑上本身带有 mysql的数据库,在安装完后,没有注意到,mysql已经指向了 刚安装好的wamp里的mysql .导致 之前的 mys ...
最新文章
- 上传数据,直接分析,这才是真正的生物云
- 60 Celery队列
- python快速编程入门黑马-500G 史上最全的JAVA全套教学视频网盘分享
- linux shell 数值计算let和expr
- smartdraw 2008 成功安装
- InputFormat和OutPutFormat
- mysql查询 百万_MySQL百万级数据分页查询优化
- Google C++ 编码规范
- 3t硬盘 xp_解决方案:如何在Windows XP SP3 32位系统下识别3T容​​量GPT格式的硬盘...
- linux双系统默认进入win10,win10 linux 双系统 默认win10启动
- Dubbo之@Adaptive
- Cat Snuke and a Voyage AtCoder - 2660
- 通信工程专业就业怎么样?难不难学?
- 高德地图API开发应用-----地图显示+定位+marker
- 常见C++开源网站项目
- 【Python爬虫案例教学】采集某网站壁纸,实现壁纸自由
- 把String字符串转换为Int数组
- 【工程应用五】 opencv中linemod模板匹配算法诸多疑惑和自我解读。
- STM32F411RE项目开发-3-定时器的使用
- 用PHP来统计在线人数的四个方法详解