英伟达服务器显卡多实例技术（MIG）

❤️觉得内容不错的话，欢迎点赞收藏加关注，后续会继续输入更多优质内容❤️

英伟达服务器显卡多实例技术（MIG）

多实例技术介绍

多实例技术有点类似于vGPU，只不过vGPU是在虚拟机层次的显卡虚拟化，如果物理服务器安装的是vmware或者KVM这种虚拟机系统，那么如果想给每个虚拟机分配一张显卡显然显卡不够分，一般6U的服务器也就8张显卡，所以需要用到vGPU技术，将显卡虚拟化成多张显卡，而这玩意跟虚拟机系统一样是需要收费的，按照显卡数量进行授权收费。而如果物理服务器安装的不是虚拟机操作系统，例如安装的是Ubuntu系统，然后采用docker等容器技术，也是需要对显卡进行多实例划分的，提高显卡的利用率。这个时候NVIDIA Multi-Instance GPU（MIG）技术就非常有用了。

多实例技术支持的显卡列表

多实例技术支持的基本上都是一些服务器显卡，而是还是最新的旗舰机服务器显卡，如A100，H100等，如下所示。

MIG使用指南

开启MIG技术

一般情况下，MIG技术默认是关闭的，需要手动开启，可以使用nvidia-smi命令查看是否开启MIG，nvidia-smi命令的一些详细内容可以查看之前的博客：nvidia-smi命令详解和一些高阶技巧介绍

上图是没有开启MIG的显示结果，下图是开启了MIG的显示结果。

如果没有开启MIG，可以使用如下命令开启MIG：

sudo nvidia-smi -i [显卡ID] -mig 1
这个是针对某个显卡开启MIG的命令，例如我想开启第一张显卡的MIG，则可以使用以下命令
sudo nvidia-smi -i 0 -mig 1

在这个特定的DGX例子中，必须停止nvsm和dcgm服务，在所需的GPU上启用MIG模式，然后恢复监控服务,如下所示:

sudo systemctl stop nvsm
sudo systemctl stop dcgm

使用nvidia-smi mig -lgipp可以查看开启MIG的显卡可以划分成那几个实力

用户名@主机名:~$ sudo nvidia-smi mig -lgipp
GPU  6 Profile ID 19 Placements: {0,1,2,3,4,5,6}:1
GPU  6 Profile ID 14 Placements: {0,2,4}:2
GPU  6 Profile ID  9 Placements: {0,4}:4
GPU  6 Profile ID  5 Placement : {0}:4
GPU  6 Profile ID  0 Placement : {0}:8
GPU  7 Profile ID 19 Placements: {0,1,2,3,4,5,6}:1
GPU  7 Profile ID 14 Placements: {0,2,4}:2
GPU  7 Profile ID  9 Placements: {0,4}:4
GPU  7 Profile ID  5 Placement : {0}:4
GPU  7 Profile ID  0 Placement : {0}:8

使用nvidia-smi mig -lgip可以查看每个开启MIG的设备支持的实例类型，一共有1g.5gb（7个4.75GB显卡）、2g.10gb（3个9.75GB显卡）、3g.20gb（2个19.62GB显卡）、4g.20gb（1个19.62B显卡）、7g.40gb（1个39.50GB显卡）五种类型。

用户名@主机名:~$ sudo nvidia-smi mig -lgip
+--------------------------------------------------------------------------+
| GPU instance profiles:                                                   |
| GPU   Name          ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                           Free/Total   GiB              CE    JPEG  OFA  |
|==========================================================================|
|   6  MIG 1g.5gb     19     0/7        4.75       No     14     0     0   |
|                                                          1     0     0   |
+--------------------------------------------------------------------------+
|   6  MIG 2g.10gb    14     0/3        9.75       No     28     1     0   |
|                                                          2     0     0   |
+--------------------------------------------------------------------------+
|   6  MIG 3g.20gb     9     0/2        19.62      No     42     2     0   |
|                                                          3     0     0   |
+--------------------------------------------------------------------------+
|   6  MIG 4g.20gb     5     0/1        19.62      No     56     2     0   |
|                                                          4     0     0   |
+--------------------------------------------------------------------------+
|   6  MIG 7g.40gb     0     0/1        39.50      No     98     5     0   |
|                                                          7     1     1   |
+--------------------------------------------------------------------------+
|   7  MIG 1g.5gb     19     0/7        4.75       No     14     0     0   |
|                                                          1     0     0   |
+--------------------------------------------------------------------------+
|   7  MIG 2g.10gb    14     0/3        9.75       No     28     1     0   |
|                                                          2     0     0   |
+--------------------------------------------------------------------------+
|   7  MIG 3g.20gb     9     0/2        19.62      No     42     2     0   |
|                                                          3     0     0   |
+--------------------------------------------------------------------------+
|   7  MIG 4g.20gb     5     0/1        19.62      No     56     2     0   |
|                                                          4     0     0   |
+--------------------------------------------------------------------------+
|   7  MIG 7g.40gb     0     0/1        39.50      No     98     5     0   |
|                                                          7     1     1   |
+--------------------------------------------------------------------------+

创建MIG实例

使用如下命令创建MIG实例

sudo nvidia-smi mig -cgi [ID],[实例名称] -C
[ID]指的是sudo nvidia-smi mig -lgip中ID那一列的值
[实例名称]指的是Name那一列的内容，注意ID需要与[实例名称]对应
例如，使用以下命令，创建ID为9的那个实例，实例名称为3g.20gb，即创建了两个显存为19.62GB的显卡实例。
sudo nvidia-smi mig -cgi 9,3g.20gb -C

在docker中使用MIG实例

参考文献

[1] NVIDIA Multi-Instance GPU User Guide https://docs.nvidia.com/datacenter/tesla/mig-user-guide/index.html
[2] NVIDIA 多实例 GPU 用户指南 https://blog.csdn.net/wangqi4720/article/details/126358886

❤️觉得内容不错的话，欢迎点赞收藏加关注，后续会继续输入更多优质内容❤️