关于Ubuntu多显卡服务器，掉显卡的问题

20220222更新：

之前屏蔽了nouveau之后，本来以为就无法进入桌面了，但是没成想一切正常，也确实很长一段时间不掉显卡了。后来突然有一次，同事发现怎么驱动没有了，就是nvidia-smi看不到数据了，然后装好后过了一会儿又开始掉卡。重启后，发现无法进入桌面了，就是输入密码后，电脑变得巨卡，也不会跳转进桌面，但是进入命令行模式，一切正常，也可以进行训练。又过了一个月，期间也不再掉卡我们通过ssh进入系统来进行训练。

最近再一次重启电脑，发现突然能进桌面了，本以为恢复正常的时候，发现驱动又没了，之后就是每次重启都需要再装一次驱动。后来训练的时候，发现还是有掉卡的现象。此时老板已经非常烦了，打算退了算了，服务器那边说，要不试试打开显卡的内存常驻模式，我也查了下频繁掉驱动怎么解决。

最终是，1，通过nvidia-smi -pm 1来启动显卡的内存常驻模式，该命令需要sudo权限，开机启动，尝试使用rc.local的方式发现，Ubuntu18没有这种模式了，按网上说法打开也不行，然后是写个脚本在/etc/pofile.d中，将登录用户sudo设为无需密码，可行。

2，删除多余内核，网上说，掉驱动可能跟当前系统使用的内核有关，那我干脆就只保留当前内核总行了吧。

一番折腾之后，重启，桌面又进不去了，之前不知有没有提过，这个服务器虽然有8张显卡，但是他是通过集显连接显示器的，个人猜测就是nouveau这个驱动就是对应的集显，这个驱动禁用了，集显就不能提供支持了，这个我是这么理解的，虽然可以改为通过显卡提供显示，但是机器没有预留孔，显卡直接怼上风扇了，那就不要桌面了吧。然后通过ssh可以看到驱动也不会一重启就掉了，显卡到目前也没有再掉了，然后继续观察吧。个人猜测掉显卡的最终原因还是和nouveau冲突，然后还有内核版本众多，搞乱了。

以下是原文：

前几天公司斥巨资买了台8卡服务器，3080ti，算是非常新的电脑了吧，送来的时候装了Ubuntu，估计是服务器版，开机就是命令行，虽然我觉得还好，但是老板还是让装个桌面，方便大家玩儿。

直接说现象，就是跑了个训练后，在nvidia-smi的界面上会看到，突然掉了一个卡，然后再训练，还会继续掉，非常费解，找来服务器人员，也很费解，也找不到有用的日志。

后来他意外发现掉卡的时候，系统也会爆一个错，追溯了一下，和nouveau有关，我们都很奇怪，这个不是屏蔽了么。然后我回想了下，这东西，以前在装cuda或是nvidia驱动的时候，查攻略都是需要手动屏蔽再玩儿的，但是后来的版本，都没有这方面的说法了，而且安装也不会有问题，我就没再这么做了，莫非与此相关，于是加入blacklist，问题解决，至少是这么些天没再发现了。

简单吐槽下，服务器厂家对我们要装cuda表示很不解，然后要装桌面更不解，后来重装系统测试的时候，直接装的ubuntu桌面版。我说，别的公司可能要这个服务器，就是跑几个程序，然后一直静默运行就好了，我们深度学习，就是要不停折腾的，使用场景不一样。

最后，我这边机器还是挺多的，但大多是双卡或者单卡机器，其实也有掉卡的情况，一般就是敲nvidia-smi的时候会报一个错，什么mismatch啥的，反正重启就好了，就一直没有深究，估计也是这个原因导致的，所以，建议那个nouveau还是屏蔽掉吧，毕竟服务器重启一次还是好麻烦的。

关于Ubuntu多显卡服务器，掉显卡的问题相关推荐

主板显卡服务器维修,显卡无显示怎么维修显卡无显示解决方法【详细介绍】...
今天小编跟大家聊聊显卡那些事,显卡出现问题最明显的就是屏幕显示异常,如:显卡无显示.显示花屏看不清字迹等,那么,显卡无显示怎么维修?显示花屏看不清字迹怎么办?在这里小编给大家归归类,也是从网上整理而来 ...
香港显卡服务器怎么选？显卡服务器好在哪？
绝大多数服务器是没有显卡的,因为服务器的本职工作是运算和存储,并不是用来显示画面,但也有部分服务器装上了显卡,用于特殊的需求.香港显卡服务器就是其中的一种,但显卡服务器算是比较冷门的服务器类型了,很多 ...
ubuntu重启后显卡驱动掉了
ubuntu20.04重启后,显卡驱动掉了. nvidia-smi检测不到显卡,双屏幕,只点亮了一个屏幕. 到系统about中检查,看到显卡驱动是llvm. 说明显卡驱动真的掉了. 参考 ubuntu ...
ubuntu服务器解除显卡异常占用
在维护多显卡服务器的过程中,发现了一个奇怪的现象,就是某一块显卡的显存全被占满,但是使用率为0,而且使用nvidia-smi指令也看不到任何占用程序.经过询问发现,有个用户的程序有bug,每次用显卡加 ...
【BUG】Ubuntu 3090显卡驱动掉了，重新安装
问题:输入 nvidia-smi显式fail,表示显卡驱动掉了,需要重新安装驱动教训:用命令直接安装会失败,重启会循环卡在登录界面. 用过失败的命令: sudo ubuntu-drivers dev ...
【NVIDIA】ubuntu桌面版安装nvidia显卡驱动程序
[NVIDIA]ubuntu桌面版安装nvidia显卡驱动程序 1.背景 2.安装步骤 1.背景 nvidia显卡驱动安装一般来说,在桌面版系统安装比服务器版系统更麻烦一些. 其中CentOS-8桌面 ...
联想拯救者 R7000 Ubuntu 16.04 系统和显卡驱动安装踩坑教程
文章目录 1.制作ubuntu启动盘(win同理)--流水帐 1.1 下载镜像 1.2 制作启动盘 2.安装ubuntu--主要讲分区 3.在 Windows 下删除 Ubuntu 的所有分区 3.1 ...
ubuntu20.04显卡驱动掉了之后重装出现的各种问题
问题三:ubuntu20.04显卡驱动掉了之后重装出现各种问题: 问题描述: 装完驱动配置好环境隔了一段时间打开Ubuntu发现装好的驱动又掉了,nvidia-smi查找不到驱动.根据网友的经验应该是 ...
Ubuntu 20.04安装、显卡驱动配置及搜狗输入法配置（U盘离线安装、vi编辑器，esc ZZ，tty3模式）（一）
小白装Ubuntu20.04-系列记录(一) 目录小白装Ubuntu20.04-系列记录(一) Ubuntu 20.04安装显卡驱动配置(U盘离线安装.vi编辑器,esc ZZ,tty3模式) 搜 ...

关于Ubuntu多显卡服务器，掉显卡的问题

关于Ubuntu多显卡服务器，掉显卡的问题相关推荐

最新文章

热门文章