一、硬件及需求

联想SR650 2x5218，64G，3x1.2T SAS HDD，显卡RTX2080

因为对系统要求必须是windows，windows server系统没有显卡驱动，win10又没有对应的服务器硬件驱动，尝试安装windows10，使用windows server2019驱动，系统安装安装完成后，驱动问题导致系统蓝屏，重启，无法正常使用

只能使用centos+kvm部署win10虚拟机，显卡采用直通模式，可以正常安装显卡驱动。

二、部署过程

1、安装centos7.8，安装过程省略

英文安装，virt-manager图形界面中文会显示乱码

centos版本：CentOS-7.8-x86_64-DVD-2003

采用的自动分区，不过手动更合适。

[root@localhost ~]# df -h

Filesystem Size Used Avail Use% Mounted on

devtmpfs 32G 0 32G 0% /dev

tmpfs 32G 0 32G 0% /dev/shm

tmpfs 32G 11M 32G 1% /run

tmpfs 32G 0 32G 0% /sys/fs/cgroup

/dev/mapper/centos-root 50G 2.3G 48G 5% /

/dev/sda2 1021M 210M 811M 21% /boot

/dev/sda1 200M 12M 189M 6% /boot/efi

/dev/mapper/centos-home 2.1T 24G 2.1T 2% /home

tmpfs 6.3G 0 6.3G 0% /run/user/0

2、安装kvm

2.1设置桥接网络，名称为br0连接到eno1变为到br0

yum -y install bridge-utils

配置br0的网络参数，对照自己的网卡，配置自己的ip

cat > /etc/sysconfig/network-scripts/ifcfg-br0 << EOF

DEVICE=br0

ONBOOT=yes

BOOTPROTO=static

NM_CONTROLLED=no

IPADDR=192.168.31.88

NETMASK=255.255.255.0

GATEWAY=192.168.31.1

DNS1=114.114.114.114

USERCTL=no

TYPE=Bridge

EOF

修改eno1的网络参数

cat > /etc/sysconfig/network-scripts/ifcfg-eno1 << EOF

DEVICE=eno1

ONBOOT=yes

BRIDGE=br0

EOF

重启网络

systemctl restart network

重启网络后ssh连接新设置的ip

检查主机机是否支持kvm

egrep '(vmx|svm)' /proc/cpuinfo

2.2安装kvm

systemctl start libvirtd

查看kvm版本，UEFI模式安装windows需要升级kvm

virsh # version

Compiled against library: libvirt 3.0.0

Using library: libvirt 3.0.0

Using API: QEMU 3.0.0

Running hypervisor: QEMU 2.8.1

2.3更新qemu-kvm

wget http://rpmfind.net/linux/centos/7.8.2003/extras/x86_64/Packages/centos-release-qemu-ev-1.0-4.el7.centos.noarch.rpm

yum install -y centos-release-qemu-ev-1.0-4.el7.centos.noarch.rpm

wget http://rpmfind.net/linux/centos/7.8.2003/extras/x86_64/Packages/centos-release-virt-common-1-1.el7.centos.noarch.rpm

yum install -y centos-release-virt-common-1-1.el7.centos.noarch.rpm

sed -i -e "s/enabled=1/enabled=0/g" /etc/yum.repos.d/CentOS-QEMU-EV.repo

yum --enablerepo=centos-qemu-ev -y install qemu-kvm-ev

systemctl restart libvirtd

查看更新后的kvm版本

virsh # version

Compiled against library: libvirt 4.5.0

Using library: libvirt 4.5.0

Using API: QEMU 4.5.0

Running hypervisor: QEMU 2.12.0

2.4安装OVMF

OVMF“是一个为UEFI支持虚拟机的项目”。

#REPO

vi /etc/yum.repos.d/kraxel.repo

# create new

[qemu-firmware-jenkins]

name=firmware for qemu, built by jenkins, fresh from git repos

baseurl=https://www.kraxel.org/repos/jenkins/

enabled=0

gpgcheck=0

#RPM Install

yum --enablerepo=qemu-firmware-jenkins -y install OVMF

#check ovmf directory

ls /usr/share/OVMF/

#QEMU配置以启用UEF

vim /etc/libvirt/qemu.conf

nvram = [

"/usr/share/OVMF/OVMF_CODE.secboot.fd:/usr/share/OVMF/OVMF_VARS.fd",

]

#重启libvirtd服务

service libvirtd restart

2.5安装win10

使用图形界面安装，xshell的xmanager工具

virt-manager

2.5.1选择UEFI模式，暂不配置显卡直通

2.5.2如果硬盘或者CD/ROM报错不支持IDE模式不支持，请更改成SATA模式

2.5.3网卡桥接模式

2.5.4vnc连接配置，选择vncserver，否则可能看不到虚拟机画面，vnc客户端配置raw模式，否则可能很卡

2.6显卡直通

2.6.1开启iommu

IOMMU(i/o memory management unit)。iommu有两大功能：控制设备dma地址映射到机器物理地址(dmar)，中断重映射(intremap)(可选)

确认内核是否支持iommu

cat /proc/cmdline | grep iommu有输出则正常

如果没有输出，将intel_iommu=on添加到grub启动文件当中

编辑grub文件 ：

vim /etc/default/grub

GRUB_TIMEOUT=5

GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"

GRUB_DEFAULT=saved

GRUB_DISABLE_SUBMENU=true

GRUB_TERMINAL_OUTPUT="console"

GRUB_CMDLINE_LINUX="intel_iommu=on crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet"

GRUB_DISABLE_RECOVERY="true"

重新生成内核

grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

再次验证内核支持iommu

[root@localhost ~]# cat /proc/cmdline | grep iommu

BOOT_IMAGE=/vmlinuz-3.10.0-1127.19.1.el7.x86_64 root=/dev/mapper/centos-root ro intel_iommu=on crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet LANG=zh_CN.UTF-8

有输出即正常

验证VT-D是否启用

dmesg |grep -e DMAR -e IOMMU

ps:如果没有的开启的解决办法

2.6.2禁用服务器上的RTX2080显卡驱动

#查看NVIDIA显卡设备

[root@localhost ~]# lspci -nnk | grep -i nvidia

86:00.0 VGA compatible controller [0300]: NVIDIA Corporation TU104 [GeForce RTX 2080 SUPER] [10de:1e81] (rev a1)

Subsystem: NVIDIA Corporation Device [10de:13a0]

86:00.1 Audio device [0403]: NVIDIA Corporation TU104 HD Audio Controller [10de:10f8] (rev a1)

Subsystem: NVIDIA Corporation Device [10de:13a0]

86:00.2 USB controller [0c03]: NVIDIA Corporation TU104 USB 3.1 Host Controller [10de:1ad8] (rev a1)

Subsystem: NVIDIA Corporation Device [10de:13a0]

86:00.3 Serial bus controller [0c80]: NVIDIA Corporation TU104 USB Type-C UCSI Controller [10de:1ad9] (rev a1)

Subsystem: NVIDIA Corporation Device [10de:13a0]

#根据上面显示的显卡设备编号，查看显卡驱动

lspci -vv -s 86:00.0 | grep driver

lspci -vv -s 86:00.1 | grep driver

lspci -vv -s 86:00.2 | grep driver

lspci -vv -s 86:00.3 | grep driver

#显示有3个驱动nouveau，snd_hda_intel，xhci_hcd

在服务器主机上禁用显卡设备

vi /etc/modprobe.d/blacklist.conf

添加

blacklist nouveau

blacklist snd_hda_intel

blacklist xhci_hcd

vim /usr/lib/modprobe.d/dist-blacklist.conf

加上一行options nouveau modeset=0

PS：其他情况可能还需要去掉禁用另外一张显卡，我这里没有去掉

备份原来的 initramfs nouveau image镜像

mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img

创建新的 initramfs image镜像

dracut /boot/initramfs-$(uname -r).img $(uname -r)

2.6.3显卡加载vfio驱动

加载vfio模块

modprobe vfio

modprobe vfio-pci

从服务器卸载4个显卡设备

virsh nodedev-detach pci_0000_86_00_0

virsh nodedev-detach pci_0000_86_00_1

virsh nodedev-detach pci_0000_86_00_2

virsh nodedev-detach pci_0000_86_00_3

验证显卡设备是否加载vfio-pci驱动,加载成功

[root@localhost ~]# lspci -vv -s 86:00.0 | grep driver

Kernel driver in use: vfio-pci

[root@localhost ~]# lspci -vv -s 86:00.1 | grep driver

Kernel driver in use: vfio-pci

[root@localhost ~]# lspci -vv -s 86:00.2 | grep driver

Kernel driver in use: vfio-pci

[root@localhost ~]# lspci -vv -s 86:00.3 | grep driver

Kernel driver in use: vfio-pci

2.6.4 win10虚拟机添加NVDIA显卡

同时可以添加服务器的USB设备直通

ps：需要另外配置下，参考链接

添加后，关机重启

三、显卡驱动安装

要安装显卡驱动，需要修改虚拟机win10的配置文件

否则显卡驱动安装过程中自检会报错ERROR CODE 43，驱动不允许安装在虚拟机上。

#编辑VM XML

virsh edit win 10

#修改第一行

#为

#找到节点，添加内容

...

...

#找到节点，在device后添加内容

#重启VM

virsh destroy win10

virsh start win10

重启即可安装驱动

AID64测试