快速入门：Slurm资源管理与作业调度系统

导读

本文将介绍slurm，一个 Linux服务器中的集群管理和作业调度系统。并对其基础命令和运行方式进行实战演练。

1. 简介

Slurm^[1] （doc^[2]：Simple Linux Utility for Resource Management）是一个开源、容错和高度可扩展的集群管理和作业调度系统，适用于大型和小型 Linux 集群。Slurm 的运行不需要内核修改，并且相对独立。作为集群工作负载管理器，Slurm 具有三个关键功能。首先，它在一段时间内为用户分配对资源（计算节点）的独占和/或非独占访问权限，以便他们可以执行工作。其次，它为在分配的节点集上启动、执行和监控工作（通常是并行工作）提供了一个框架。最后，它通过管理待处理工作队列来仲裁资源的争用。

2. 目标

1. 让用户请求计算节点进行分析（作业）
   
2. 提供一个框架（命令）来启动、取消和监控作业
   
3. 跟踪所有作业，以确保每个人都可以有效地使用所有计算资源，而不会互相干扰。
   

3. 命令

3.1. squeue

第一个 SLURM 命令是 squeue。它可以显示所有使用超级计算机的人提交给 SLURM 调度程序的所有作业的列表。此命令可以告诉您超级计算资源的繁忙程度以及您的作业是否正在运行。

• 结果解读
  

• 根据用户名查看任务运行情况
  

squeue -u $USER  # 用户名

3.2. scancel

如果您提交作业并意识到由于某种原因需要取消它，您将在 squeue 中使用带有上述 JOBID 的 scancel 命令

scancel 2867457

这会向 SLURM 调度发送信号以停止正在运行的作业或从 SLURM 队列中删除待处理的作业。

3.3. sbatch

sbatch 命令是最重要的命令，用于向超级计算集群提交作业。作业是在计算资源上运行的脚本。该脚本包含您要在超级计算节点上运行的命令。

sbatch slurm.batch.sh

一旦您编写了 SLURM 提交脚本，就超级容易使用。这是许多新用户卡住的部分，但它确实还不错。您只需将标题添加到其中包含您的命令的文本文件。

3.4. sinfo

有时可能很难获得一个节点并且您最终在 SLURM 队列中很长一段时间，或者您只是想在提交之前测试一个脚本并离开以确保它运行良好。找出可用节点的最简单方法是使用 sinfo 命令。

$ sinfoPARTITION        AVAIL  TIMELIMIT  NODES  STATE NODELISTdebug               up    1:00:00      1  maint ceres19-compute-26debug               up    1:00:00      1    mix ceres14-compute-4debug               up    1:00:00      1   idle ceres19-compute-25brief-low           up    2:00:00      2  maint ceres19-compute-[26,40]brief-low           up    2:00:00      1  down* ceres19-compute-37brief-low           up    2:00:00     59    mix ceres18-compute-[0-17,19-27],ceres19-compute-[0-5,7-9,12,21-24,35-36,38-39,41-42,44-45,47,55-63]brief-low           up    2:00:00      4  alloc ceres18-compute-18,ceres19-compute-[6,28,43]brief-low           up    2:00:00     26   idle ceres19-compute-[10-11,13-20,25,27,29-34,46,48-54]mem768-low          up    2:00:00      3   idle ceres18-mem768-0,ceres19-mem768-[0-1]mem-low             up    2:00:00      3    mix ceres18-mem-[0-1],ceres19-mem-1

SINFO提供以下信息

使用此信息，可以找到具有可用于作业的空闲节点的分区。不幸的是， sinfo 本身有点混乱，所以我创建了一个别名，将输出格式化为更易于阅读

sinfo -o "%20P %5D %14F %10m %11l %N"PARTITION            NODES NODES(A/I/O/T) MEMORY     TIMELIMIT   NODELISTdebug                3     0/3/0/3        126000+    1:00:00     ceres14-compute-4,ceres19-compute-[25-26]brief-low            92    33/58/1/92     381000     2:00:00     ceres18-compute-[0-27],ceres19-compute-[0-63]priority-gpu         1     1/0/0/1        379000     14-00:00:00 ceres18-gpu-0short*               100   51/48/1/100    126000+    2-00:00:00  ceres14-compute-[1-24,26-29,32-39,44-56,58-67],ceres18-compute-[24-27],ceres19-compute-[27-63]medium               67    49/17/1/67     126000+    7-00:00:00  ceres14-compute-[26-29,32-39,44-56,58-67],ceres18-compute-[25-27],ceres19-compute-[35-63]long                 34    31/3/0/34      126000+    21-00:00:00 ceres14-compute-[44-56,58-67],ceres18-compute-[26-27],ceres19-compute-[55-63]mem                  8     3/4/1/8        1530000+   7-00:00:00  ceres14-mem-[0-3],ceres18-mem-2,ceres19-mem-[2-4]mem768               1     0/1/0/1        763000     7-00:00:00  ceres18-mem768-1huge                 1     1/0/0/1        4:16:1   3095104    14990      1-00:00:00  fat,AVX,AVX2,AVX novahuge001

3.5. scontrol

如果您需要查看特定节点的配置以确定该类型的节点是否足以进行分析或诊断问题（如内存分段不足故障）。 scontrol 可用于查找节点上的信息，例如 ceres14-compute-8

$ scontrol show nodes ceres14-compute-8

NodeName=ceres14-compute-8 Arch=x86_64 CoresPerSocket=10   CPUAlloc=0 CPUTot=40 CPULoad=0.01   AvailableFeatures=AVX   ActiveFeatures=AVX   Gres=(null)   NodeAddr=ceres14-compute-8 NodeHostName=ceres14-compute-8 Version=19.05.5   OS=Linux 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 2020   RealMemory=126000 AllocMem=0 FreeMem=85536 Sockets=2 Boards=1   State=IDLE ThreadsPerCore=2 TmpDisk=975 Weight=1 Owner=N/A MCS_label=N/A   Partitions=short,geneious   BootTime=2020-02-17T17:14:55 SlurmdStartTime=2020-02-18T17:12:06   CfgTRES=cpu=40,mem=126000M,billing=40   AllocTRES=   CapWatts=n/a   CurrentWatts=0 AveWatts=0   ExtSensorsJoules=n/s ExtSensorsWatts=0 ExtSensorsTemp=n/s

有时，您想了解更多关于您刚刚运行或当前运行的作业的信息。

scontrol show job 2909617

JobId=2909617 JobName=bash   UserId=remkv6(298590) GroupId=domain users(101) MCS_label=N/A   Priority=84730 Nice=0 Account=gif QOS=gif   JobState=RUNNING Reason=None Dependency=(null)   Requeue=1 Restarts=0 BatchFlag=0 Reboot=0 ExitCode=0:0   RunTime=06:58:38 TimeLimit=10:00:00 TimeMin=N/A   SubmitTime=2020-05-18T07:29:05 EligibleTime=2020-05-18T07:29:05   AccrueTime=Unknown   StartTime=2020-05-18T07:29:05 EndTime=2020-05-18T17:29:05 Deadline=N/A   SuspendTime=None SecsPreSuspend=0 LastSchedEval=2020-05-18T07:29:05   Partition=long_1node192 AllocNode:Sid=nova:71501   ReqNodeList=(null) ExcNodeList=(null)   NodeList=nova027   BatchHost=nova027   NumNodes=1 NumCPUs=4 NumTasks=4 CPUs/Task=1 ReqB:S:C:T=0:0:*:*   TRES=cpu=4,mem=20400M,node=1   Socks/Node=* NtasksPerN:B:S:C=4:0:*:* CoreSpec=*   MinCPUsNode=4 MinMemoryCPU=5100M MinTmpDiskNode=0   Features=(null) DelayBoot=00:00:00   OverSubscribe=OK Contiguous=0 Licenses=(null) Network=(null)   Command=bash   WorkDir=/work/gif/remkv6/Baum/04_DovetailSCNGenome/01_mikadoRerurn/01_BrakerFix/braker   Comment=Time 600, Med priority, overdrawn   Power=

提示如果您将下面代码放在 SLURM 脚本的末尾，它将在您的工作完成后将其输出到您的标准输出文件。

scontrol show job $SLURM_JOB_ID

3.6. sacct

此命令提供有关已提交作业的有用信息。

该命令本身只会为您提供有关您的工作的信息

sacct

# 添加 -a 参数将提供有关所有帐户的信息。sacct -a

# 下面的命令可以提供更多有用的列信息。sacct -a --format JobID,Partition,Timelimit,Start,Elapsed,NodeList%20,ExitCode,ReqMem,MaxRSS,MaxVMSize,AllocCPUS

3.7. salloc

也可以通过首先使用 salloc 在分区中保留一个节点来交互地运行作业脚本中的命令

# 下面的命令将在短分区中为 1 个节点提供 4 个 cpu，时间为 00 小时：30 分钟：00 秒

$ salloc -N 1 -n 4 -p short -t 00:30:00

salloc: Pending job allocation 2935626salloc: job 2935626 queued and waiting for resourcessalloc: job 2935626 has been allocated resourcessalloc: Granted job allocation 2935626salloc: Waiting for resource configurationsalloc: Nodes ceres14-compute-48 are ready for jobexport TMPDIR=/local/bgfs//2935626export TMOUT=5400

4. Scripts

SLURM 脚本包含一个带有 SLURM SBATCH 注释 #SBATCH 的标题。这些注释告诉 SLURM 以下信息。

• 节点数
  
• 所需的处理器或作业数量
  
• 要使用的分区/队列类型（可选）
  
• 内存要求（可选）
  
• 想要运行作业的时间长度（每个分区都有一个默认值）
  
• 在哪里写入输出和错误文件
  
• 在 HPC 上运行时的作业名称
  
• 获取工作状态的电子邮件 ID（可选）
  

这是最常用的#SBATCH 注释的表格说明

5. script

现在您对#SBATCH 注释有了更多了解，SLURM 作业脚本可以直接编写，包含两个组件：

• 带有#SBATCH 注释的 SLURM 标头定义了您需要的资源
  
• 您要运行的命令
  

5.1. header

一旦你编写了这个，你可以通过根据你的需要修改#SBATCH 注释来将它重用于你需要的其他脚本。

#!/bin/bash

# 下面以单个 `#SBATCH` 开头的所有行都是 SLURM SBATCH 注释

#SBATCH -N 1#SBATCH -n 4#SBATCH -p short#SBATCH -t 01:00:00#SBATCH -J sleep#SBATCH -o sleep.o%j#SBATCH -e sleep.e%j#SBATCH --mail-user=user@domain.edu#SBATCH --mail-type=begin#SBATCH --mail-type=end

cd $SLURM_SUBMIT_DIR # 此行将您更改为作业开始后提交脚本的目录

5.2. 命令

## 以下几行是要运行的命令

sleep 10 && echo "I slept for 10 seconds"

scontrol show job $SLURM_JOB_ID## scontrol 是一个 slurm 命令，用于查看 slurm 配置或状态。查看您使用了多少资源。

5.3. 提交

sbatch slurm.batch.sh  # 提交命令

作业完成后会出现以下文件

sleep.o2935316 # 这是标准输出，其中 2935316 是 JOBIDsleep.e2935316 # 这是标准错误，其中 2935316 是 JOBID

参考资料