【Slurm】Slurm使用故障workaround记录

1. Node状态Drain，Reason显示low socket-core-thread-cpu count

什么原因导致的还不清楚。后续研究下复现方法
重置状态方法如下：

# scontrol update NodeName=(你的NodeName) State=RESUME

state直接重置为IDLE也行。看网络文章区别在于，如果有job在该node上运行，建议用RESUME;如果没有job运行可以用IDLE

2. The host （**）is not a valid controller

检查slurm.conf内ControlMachine的名称是否正确。

3. 编译缺少HD5Open

在ubuntu下编译时候，发现缺少hdf5相关库。查询资料安装hdf5相关包后错误依然存在。
于是编译时候打算跳过hdf5

# ./configure --enable-debug --with-munge --with-hdf5=no

4. 恢复处于down状态的node

机器或者集群重启或者恢复后，有时候node会处于down状态

(base) root@yc:~# sinfo
PARTITION  AVAIL  TIMELIMIT  NODES  STATE NODELIST
test    up   infinite      1   down yc

使用scontrol命令可以恢复节点

scontrol update NodeName=yc State=RESUME

再次检查node状态，显示已经恢复成idle

【Slurm】Slurm使用故障workaround记录相关推荐

安桥TX-NR509高清功放无声、HDMI故障维修记录
安桥TX-NR509高清功放无声.HDMI故障维修记录收了台安桥TX-NR509功放,收的时候通电开机,按键正常,继电器也有吸合,现场没有条件进一步测试,抱回家测试发现以下故障故障现象:能开机,按 ...
Buildozer生成的APP闪退+PermissionError故障排除记录
0 情况介绍最近有一个项目需要一个简单的手机客户端应用,由于项目是Python写的,所以希望手机客户端同样使用Python语言,查询后发现Python可以通过多种途径生成APK文件,经过多次安装尝试 ...
DRV835x电机驱动故障调试记录
1.前言最近做了一个电机驱动的项目,使用是DRV8350. DRV8350,它是一个无刷直流栅极驱动器设备, 驱动三相马达的9-100V三相智能栅极驱动器当尝试使用新设计的 PCB 系统去驱动电机 ...
一次完整的JVM堆外内存泄漏故障排查记录
前言记录一次线上JVM堆外内存泄漏问题的排查过程与思路,其中夹带一些JVM内存分配机制以及常用的JVM问题排查指令和工具分享,希望对大家有所帮助. 在整个排查过程中,我也走了不少弯路,但是在文章中我 ...
医院计算机网络故障演练记录,医院电脑服务器宕机演练脚本、过程及演练总结全套资料.doc...
医院服务器宕机突发事件演练记录举办地点: 举办部门: 演习时间: 2018.5.20 突发服务器事件应急预案演练脚本时间: 2018年5月20日16时00分地点:门诊.收费处.住院处.药房. ...
小米笔记本pro15.6英寸频繁蓝屏故障解决记录
2019年3月入手的小米本本已经跟了2年了,最近频发蓝屏,多次重启后又正常,扒拉系统日志看不出来个所以然,就是下方的这个蓝屏图片: 蓝屏图片重启过程中间歇性出现这个提示标题刚开始频率还不是很高,大 ...
Ceph 故障修复记录（持续更新）
目录文章目录目录问题:故障域与副本数导致的 PG 不正常问题:故障域与副本数导致的 PG 不正常缘起:执行 rbd snap unprotect 执行卡死. 调查:Ceph 集群 PG 不正 ...
kuberntes集群不能解析service ip故障排查记录
一.故障描述涉及kubernetes版本: 1.20 kuberntes集群发布服务后,不能正常解析service ip,无法使用telnet测试服务ip 在kubernetes命名空间里部署red ...
生物制药企业怎么应用软件系统降低故障发生记录
今天我们来看几个典型问题: 1.工作系统彼此独立,涉及到数十个业务流程,上百种细分场景,业务人员进行多系统的录入.查询等操作,工作复杂度高且效率低. 2.业务高度依赖人工,对内亟待提高业务运行效率和安 ...