序言

jupyter莫名死掉重启，是一件很头痛的事情，尤其是，等了很久后它死了，其原因应该多而繁杂，各式各样，需要具体情况具体分析。最近就碰到一次，之前运行良好的代码，又重新运行，竟然死掉了，我草不信重新试一下，结果反复死了很多次，逐渐暴躁失去理智，很想咋键盘，真的大忌。后来通过一系列方法终于解决掉了，记录一下这个过程，希望带给你一点启发。

遇到这种问题后，不要网上乱搜这样效率低下，正规解法是：

从jupyter后台或者前台log日志，找到关键报错信息。
将关键报错信息贴到网上在进行搜索。
解决后，反思到底发生了什么事情，归纳到自己的知识体系中。

在搜索过程中，不要怕，如果无人请教，可以大胆假设，自圆其说，错了就再改就行了。

下面介绍一下我本次解决过程。

现象

运行下面的代码，jupyter无端由崩溃重启，报内核似乎挂掉了它很快将自动重启。

import faiss
import numpy as np
import mkldef faiss_similarity(main_mtx, candi_mtx, topn=30):main_mtx = main_mtx.astype(np.float32)new_candi_mtx = candi_mtx.astype(np.float32)N, d = main_mtx.shape# https://zhuanlan.zhihu.com/p/357414033index = faiss.IndexFlatIP(d)    # inner product# index = faiss.IndexFlatL2(d) index.add(new_candi_mtx)step = 10D, I = [], []for i in tqdm(range(0, N, step)):# xb不能是float64dm, im = index.search(main_mtx[i:i+step], topn)D.append(dm)I.append(im)return np.vstack(D), np.vstack(I)

查询后台Log和搜索答案

由于我的jupyter是在后台启动的，放到了output.log，所以就在后台打开，找到如下错误：

此类cannot load和not found错误，一般都是没有安装某个程序或者安装后路径出错了，所以一般重装能够解决问题。

找到关键词后去网上搜索，经过尝试最终发现解决方法如下：

import faiss
import numpy as np
import mkl
"""
重新安装mkl和faiss
conda install mkl
conda install mkl-service
conda install -c pytorch faiss-cpu
"""
mkl.get_max_threads()
"""
上边的话用来解决这个bug
INTEL MKL ERROR: /data/zfchen/miniconda3/envs/infringement/lib/python3.7/site-packages/faiss/../../.././libmkl_avx512.so.2: undefined symbol: mkl_sparse_optimize_bsr_trsm_i8.
Intel MKL FATAL ERROR: Cannot load libmkl_avx512.so.2 or libmkl_def.so.2.
[I 19:44:47.937 NotebookApp] KernelRestarter: restarting kernel (1/5), keep random ports
"""
def faiss_similarity(main_mtx, candi_mtx, topn=30):main_mtx = main_mtx.astype(np.float32)new_candi_mtx = candi_mtx.astype(np.float32)N, d = main_mtx.shape# https://zhuanlan.zhihu.com/p/357414033index = faiss.IndexFlatIP(d)    # inner product# index = faiss.IndexFlatL2(d) index.add(new_candi_mtx)# step不要太大有可能会挂掉step = 10D, I = [], []for i in tqdm(range(0, N, step)):# xb不能是float64# search的向量一次性不要太多，不然有可能会导致jupyter挂掉dm, im = index.search(main_mtx[i:i+step], topn)D.append(dm)I.append(im)return np.vstack(D), np.vstack(I)

总结错误

Faiss-cpu版本，在intel Cpu上，会运行依赖mkl，应当安装它。安装后，依然无法其效果，最后看到cpu没有满载，运行mkl.get_max_threads()获得CPU满载。

jupyter 内核似乎挂掉了它很快将自动重启---解决方案相关推荐

jupyter notebook 内核好像挂掉了
jupyter notebook 内核好像挂掉了解决办法 import os os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE" ...
关于Anaconda中创建的虚拟环境使用Jupyter notebook出现“内核似乎挂掉“问题总结
场景分析和解决方案场景一(图片可视化情况时) ②问题分析今天在Pytorch环境中进行图片的可视化出现"内核挂掉",懵逼不知所措,后通过资料查询,发现应该是在调用matplot ...
jupyter内核无法连接，出现error，代码无法运行解决办法
1.问题描述最近新建了一个环境进行跑深度学习,打算利用gpu进行训练然后我在该环境内把内核添加到了jupyter中,但是出现了jupyter内核无法连接,出现error,代码无法运行等情况.其具体情 ...
jupyter内核正忙解决办法：
jupyter遇到内核正忙时,先看看Windows用户名是否是中文,如果是中文,则可以试试以下方法: 打开环境变量配置,找到temp和tem两个路径,默认路径是C:/use/用户名/.jupyter内 ...
Memcached进程挂掉自动重启脚本
由于一台WEB服务器的Memcached死掉而导致在访问网站的某些页面时候打不开,下面脚本会自动检测Memcached的进程,如果挂掉则自动重启Memcached服务. cat /root/sh/me ...
错误：由于系统启用了内核调试器，因此不可能进行调试解决方案
错误:由于系统启用了内核调试器,因此不可能进行调试解决方案原文地址如下所示: http://msdn.microsoft.com/query/dev10.query?appId=Dev10IDEF1 ...
使用shell脚本控制 python挂掉后自动重启
我们经常需要在后台运行一些python脚本,来监控系统或者做一些其他事情:但是由于各种各样的问题,不是python脚本代码的问题:脚本运行过程中会挂掉.手动重启不现实,天天耗在上面等重启... 所 ...
ubuntu 12.04 配置内核崩溃自动重启及转存
默认ubuntu12.04没有配置内核崩溃自动重启及转存,造成发生内核崩溃的时候,没有core dump文件去分析,并且卡死在内核崩溃界面,为了方便查找内核崩溃原因,需要将内核崩溃自动重启配置及内核转 ...
llmp重启mysql_LNMP使用中mysql宕机挂掉后自动重启脚本 - 老牛博客
昨晚某个重要网站的mysql挂掉了,今早睡了个懒觉,发现出问题时已经整整过去7个小时,美刀打水漂了以前就一直要弄个脚本来自动重启,但是一直没出过问题,人就变懒了不行,这次还是弄个无人值守的脚本帮我 ...

jupyter 内核似乎挂掉了它很快将自动重启---解决方案

文章目录

序言

现象

查询后台Log和搜索答案

总结错误

jupyter 内核似乎挂掉了它很快将自动重启---解决方案相关推荐

最新文章

热门文章

jupyter 内核似乎挂掉了 它很快将自动重启---解决方案

文章目录

序言

现象

查询后台Log和搜索答案

总结错误

jupyter 内核似乎挂掉了 它很快将自动重启---解决方案相关推荐

最新文章

热门文章

jupyter 内核似乎挂掉了它很快将自动重启---解决方案

jupyter 内核似乎挂掉了它很快将自动重启---解决方案相关推荐