使用Clonezilla进行P2V，备份还原完整过程

起因：由于公司的几台开发测试服务器从IDC机房搬回办公室后，电费飙涨，为降低公司成本，倡导绿色节能，遂想将几台资源利用率不高的服务器进行虚拟化后关停，因此就有了本文。权当学习记录，有不当之处，欢迎读者指出，共同探讨。

一、基本环境

源服务器：Ubuntu18.04

目的服务器：CentOS 7.9 、 Libvirt KVM/QEMU

网络：同一局域网

软件：Clonezilla-live-2.7.1-22 、rufus 、VNC Viewer

下载链接：

Clonezilla： https://clonezilla.org/downloads.php

Rufus： https://rufus.ie/zh/

二、Clonezilla（再生龙）简介

Clonezilla是类似于TrueImage®或NortonGhost®的分区和磁盘映像/克隆程序。它可以帮助您进行系统部署，裸机备份和恢复。可以使用三种类型的Clonezilla：Clonezilla live，Clonezilla lite服务器和Clonezilla SE（服务器版）。Clonezilla live适用于单机备份和还原。尽管Clonezilla lite服务器或SE用于大规模部署，但它可以同时克隆许多（40多台！）计算机。Clonezilla仅在硬盘中保存和恢复使用过的块。这提高了克隆效率。借助42节点群集中的某些高端硬件，创造了最高8 GB / min的速率恢复多台的记录。（官网英文Google机翻）

三、操作步骤

1.前期准备：

确认源服务器或主机正确的配置了U盘启动，并确认U盘可以正常使用，因为我在操作过程中就遇到了同一个U盘有些服务器可以识别，有些不能识别的情况。

准备好显示器、键盘，一般服务器只有VGA接口，确认显示器配备相应线缆。

准备好存储备份镜像的空间，因为服务器数据动辄几十上百G，备份多台将消耗很多磁盘空间，因此需做好提前规划。

2.创建Clonezilla启动U盘

官方推荐了几种方式进行启动U盘的创建，本次采用rufus。

rufus有绿色版本，下载后直接打开运行，先选择镜像：

选择已经下载好的Clonezilla镜像后，确认U盘中数据已备份后，可点击开始，此时会提示写入方式，直接点击OK，以推荐方式写入：

提示缺少的文件，点击是将在rufus文件同目录下创建一个文件夹并自动下载：

警告提示，点确定：

完成后，关闭rufus即可。

3.开始备份

重启服务器，并通过U盘启动，如果服务器使用的是UEFI引导程序，用U盘启动时记得选择BIOS，进入Clonezilla启动页，默认选择第一项：

选择语言，支持简体中文：

选择键盘布局，默认即可：

进入软件：

选择第一项，备份和还原都是这个，后面详细说明：

选择文件目录，这里使用ssh服务，第二项：

配置当前服务器的网络信息，即IP地址、子网掩码、网关、DNS服务器等，这里根据自己的网络环境设置，我这里使用静态IP：

配置IP地址：

配置子网掩码：

配置网关：

配置DNS服务器：

配置存储备份镜像的服务器IP：

配置备份服务器ssh服务端口：

配置ssh登陆的用户名：

配置备份存储的路径：

提示要确认并输入服务器密码：

点击确定后，输入yes，并输入密码：

如果连接成功，则会提示挂载的备份目录，可以查看是否正确，回车继续：

选择工作模式，这里选择第二项，专家模式：

根据自己的情况选择，这里我选择备份硬盘到镜像：

输入镜像文件名称，软件会自动在备份目录生成一个文件夹：

确定名称后，选择需要备份的硬盘，有多个可以选择多个：

接下来的几个选项都是跟备份数据的参数有关，如果不熟悉可以使用默认设置。

选择备份程序的顺序：

备份高级参数：

镜像压缩格式：

选择卷大小：

检查源文件系统：

检查备份镜像：

是否加密镜像：

操作完成后的动作：

按回车继续：

再次确认，输入y并回车：

等待备份过程结束：

完成后可以选择关闭服务器。

至此，一台服务器备份完成，可以在备份服务器上查看备份文件情况。

4.还原备份镜像为kvm虚拟机

首先，创建虚拟机磁盘文件，因后续可能需要将虚拟机导入openstack，因此我创建了qcow2格式的磁盘文件，也可根据情况指定其他磁盘文件格式，并指定文件大小：

qemu-img create -f qcow2 /data/test.qcow2 200G

建立虚拟机配置文件，默认在/etc/libvirt/qemu/文件夹下，格式为xml。可以从其它虚拟机文件复制来修改，也可以自己写或者用virt-install命令建立，这里复制一份其它虚拟机文件并做修改：

<!--
WARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES TO IT ARE LIKELY TO BE
OVERWRITTEN AND LOST. Changes to this xml configuration should be made using:virsh edit test
or other application using the libvirt API.
--><domain type='kvm'><name>test</name>         #虚拟机的名称     <uuid>e5b3ab33-9317-4b8e-a5bc-7b0150409166</uuid>    #虚拟机的UUID，此值是唯一的，可以用uuidgen命令生成<memory unit='KiB'>8388608</memory>         #虚拟机最大内存限制，单位是KB<currentMemory unit='KiB'>8388608</currentMemory>            #虚拟机当前内存大小，单位是KB<vcpu placement='static'>4</vcpu>             #虚拟机虚拟cpu个数<os><type arch='x86_64' machine='pc-i440fx-rhel7.6.0'>hvm</type> #arch参数表示宿主机cpu架构，machine表示宿主机系统，如：pc-i440fx-rhel7.6.0表示centos7.6版本，pc-i440fx-bionic表示ubuntu18.04版本<boot dev='cdrom'/>     #启动设备为光驱，如果是硬盘，则将cdrom改为hd<bootmenu enable='yes'/>   #是否显示启动菜单，只有通过vnc工具才能看到，kvm的console是无法看到的</os><features><acpi/><apic/></features><cpu mode='custom' match='exact' check='partial'><model fallback='allow'>IvyBridge-IBRS</model></cpu><clock offset='utc'><timer name='rtc' tickpolicy='catchup'/><timer name='pit' tickpolicy='delay'/><timer name='hpet' present='no'/></clock><on_poweroff>destroy</on_poweroff><on_reboot>restart</on_reboot><on_crash>destroy</on_crash><pm><suspend-to-mem enabled='no'/><suspend-to-disk enabled='no'/></pm><devices><emulator>/usr/libexec/qemu-kvm</emulator>       #虚拟机程序路径，这是centos的，ubuntu的则为/usr/bin/kvm-spice<disk type='file' device='disk'>            #这里可以设置虚拟机磁盘是来自文件还是物理块设备<driver name='qemu' type='qcow2'/>      #指定虚拟磁盘文件格式<source file='/data/test.qcow2'/>           #指定虚拟磁盘文件路径<target dev='vda' bus='virtio'/><address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/></disk><disk type='file' device='cdrom'><driver name='qemu' type='raw'/><source file='/sata/iso/clonezilla-live-2.7.1-22-amd64.iso'/>     #指定光盘镜像文件路径<target dev='hda' bus='ide'/><readonly/><address type='drive' controller='0' bus='0' target='0' unit='0'/></disk><controller type='usb' index='0' model='ich9-ehci1'><address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/></controller><controller type='usb' index='0' model='ich9-uhci1'><master startport='0'/><address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/></controller><controller type='usb' index='0' model='ich9-uhci2'><master startport='2'/><address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/></controller><controller type='usb' index='0' model='ich9-uhci3'><master startport='4'/><address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/></controller><controller type='pci' index='0' model='pci-root'/><controller type='ide' index='0'><address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/></controller><interface type='bridge'>         #指定网卡工作模式，这里是桥接模式<mac address='52:54:00:f2:8c:3a'/> #这里要注意，如果是手动复制的配置文件，则需要自己修改mac地址，否则会出现地址冲突 <source bridge='br0'/>     #指定桥接到哪个虚拟网桥上，即虚拟网桥的名称<model type='virtio'/>        #指定虚拟网卡模拟硬件型号<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/></interface><serial type='pty'><target type='isa-serial' port='0'><model name='isa-serial'/></target></serial><console type='pty'><target type='serial' port='0'/></console><input type='tablet' bus='usb'><address type='usb' bus='0' port='1'/></input><input type='mouse' bus='ps2'/><input type='keyboard' bus='ps2'/><graphics type='vnc' port='5911' autoport='no' listen='0.0.0.0'>   #配置vnc监听和端口<listen type='address' address='0.0.0.0'/></graphics><video><model type='cirrus' vram='16384' heads='1' primary='yes'/><address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/></video><memballoon model='virtio'><address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/></memballoon></devices>
</domain>

以上是主要的虚拟机配置文件说明，更多详细内容，可自行查询，本文最后会列举一些遇到的问题及解决方法。

定义虚拟机，并启动：

sudo virsh define /etc/libvirt/qemu/test.xml
virsh start test

启动后与备份时选择的菜单，前几步一致，先是进入主页，默认第一项：

选择语言：

选择键盘：

进入主菜单：

选择第一项：

镜像来源选择ssh server：

还是配置静态IP，中间的子网掩码、网关和DNS配置略过，请自行配置：

输入镜像源服务器的IP：

输入源服务器ssh端口：

输入ssh账号：

输入镜像源目录：

按确定后，输入ssh密码：

选择专家模式：

选择从镜像还原至本地硬盘：

选择要还原的镜像文件：

选择本地磁盘，注意本地磁盘容量要大于等于镜像文件的容量，否则无法进行还原：

选择磁盘参数，可以使用默认值：

等待完成后，选择关机，因为还需要修改kvm的配置文件。

5.挂载虚拟机磁盘

挂载虚拟机磁盘有几种方式：

方法一：采用系统的nbd模块，如果系统没有安装，还需要安装，这里就不展开了，有兴趣的可以自己去查找。

加载nbd模块:

modprobe nbd

连接磁盘：

qemu-nbd --connect=/dev/nbd0 /data/test.qcow2

挂载磁盘，如果有多个分区，则分别挂载：

mount /dev/nbd0p1 tmp1

方法二：安装 libguestfs-tools，它提供了一系列工具来访问和编辑 VM 磁盘镜像。

安装 libguestfs-tools：

yum install libguestfs-tools

挂载磁盘：

guestmount -a /data/test.qcow2 -m <device> tmp

"-m " 用于指定磁盘镜像内，你想要挂载的分区（比如，/dev/sda1）。如果你不确定磁盘镜像内有什么分区，你可以任意提供一个无效的设备名。guestmount工具将为你展示所有你可以选择的设备名字。如：

$ sudo guestmount  -a sdcard.img.qcow2 -m /dev/sdaqw qcow2_mount_point
libguestfs: error: mount_options: mount_options_stub: /dev/sdaqw: No such file or directory
guestmount: '/dev/sdaqw' could not be mounted.
guestmount: Did you mean to mount one of these filesystems?
guestmount:     /dev/sda (vfat)

挂载后根据需要修改fstab文件、网卡信息，有需要的话可以配置kvm的console登陆，这个需要修改内核启动参数，在/boot/grub/grub.cfg中找到启动内核文件，通常以boot/vmlinuz开头的行，后面空格后添加console=ttyS0 115200，如果同一版本有多个启动项，则每行都要添加。

修改好以上文件后，取消挂载：

gusetunmount tmp

6.修改虚拟机配置文件

virsh edit test

这里仅就需要修改的地方列出，如果要使用UEFI启动请参考本文第四部分问题二：

......<os><type arch='x86_64' machine='pc-i440fx-rhel7.6.0'>hvm</type>   #arch参数表示宿主机cpu架构，machine表示宿主机系统，如：pc-i440fx-rhel7.6.0表示centos7.6版本，pc-i440fx-bionic表示ubuntu18.04版本<boot dev='hd'/>        #取消光盘启动，改为硬盘启动<bootmenu enable='yes'/>  #是否显示启动菜单，只有通过vnc工具才能看到，kvm的console是无法看到的</os>......<disk type='file' device='cdrom'><driver name='qemu' type='raw'/><source file='/sata/iso/clonezilla-live-2.7.1-22-amd64.iso'/>     #删除此行<target dev='hda' bus='ide'/><readonly/><address type='drive' controller='0' bus='0' target='0' unit='0'/></disk>......<graphics type='spice' autoport='yes'>    #如果不保留vnc访问，这里可以这样修改<listen type='address'/></graphics>......

完成后保存退出，启动虚拟机即可。

四、问题及解决方案

这里总结了一些KVM使用上遇到的问题和解决方案，有些问题可能比较小白，请各位读者不要见笑。

问题一：源服务器很多服务安装在系统盘，而系统盘容量有限，容量已满，转换为虚拟机后，可以方便进行磁盘扩容。

首先，创建虚拟磁盘时要设计好容量，启动虚拟机后，查看分区情况:

sudo fdisk /dev/sda

删除容量要满的分区，输入d，回车，这里要记住/dev/sda2的起始位置，如上图中即为1050624。

然后默认会删除/dev/sda2，输入n回车，这里删除后不要保存，切记！切记！切记！创建新分区，注意起始位置要一致，然后输入你想要分配的空间大小，提示是否移除磁盘分区信息时，选择n：

然后输入w，保存退出。

然后根据你的文件系统类型，选择合适的命令，进行在线扩容：

ext4的使用：

sudo resize2fs /dev/sda2

xfs使用：

sudo xfs_growfs /dev/sda2

完成后df -h查看扩容后分区情况：

问题二：让kvm支持UEFI启动方式

默认kvm使用的是BIOS启动方式，如果要支持UEFI启动，则需要安装额外的包，并修改虚拟机的配置文件。

首先安装相应的软件包：

Ubuntu系统

sudo apt install ovmf

Centos系统

wget http://www.kraxel.org/repos/firmware.repo -O /etc/yum.repos.d/firmware.repo
yum install edk2.git-ovmf-x64 -y

修改kvm的配置文件：

Ubuntu系统

......<os>
......<loader type='rom'>/usr/share/ovmf/OVMF.fd</loader>
......</os>
......

Centos系统

......<os>......<loader readonly='yes' secure='no' type='pflash'>/usr/share/edk2.git/ovmf-x64/OVMF_CODE-pure-efi.fd</loader><nvram>/usr/share/edk2.git/ovmf-x64/OVMF_VARS-pure-efi.fd</nvram>......</os>
......

问题三：为qcow2格式的磁盘文件进行分区

由于之前没有注意源服务器是UEFI启动，导致镜像还原到kvm后无法启动，当时以为是磁盘分区的问题，所以就需要提前将虚拟磁盘进行分区，查询资料后，发现可以使用nbd模块实现。

创建一个磁盘镜像文件：

qemu-img create -f qcow2  test.qcow2  2G

加载nbd模块：

modprobe nbd max_part=12

连接磁盘镜像文件：

qemu-nbd --connect=/dev/nbd0 test.qcow2

进行分区操作：

fdisk /dev/nbd0

格式化：

mkfs.ext4 -F -L "rootfs" /dev/nbd0p0

挂载和取消挂载：

mount -t ext4 /dev/nbd0p0 tmp1
umount tmp1

操作完成后，记得断开连接：

qemu-nbd --disconnect /dev/nbd0

这种方式可以将镜像磁盘文件当成本地磁盘一样进行操作，而 libguestfs-tools这个工具只能相当于操作本地磁盘上的文件，区别显而易见。

问题四：kvm网络从NAT切换至Bridge模式导致无法上网

这个与本文关联性不大，仅当学习笔记记录下来。

现象描述：

之前在ubuntu服务器上安装了libvirt，并安装了几台虚拟机做测试用，当时由于没有外网访问的需求，因此把虚拟机设置成了NAT模式，虚拟机上网正常。后来由于测试环境需要将虚拟机暴露给本地网络，因此调整了虚拟机网络配置，改成了Bridge模式，并配置了宿主机的桥接网卡。接着问题来了，虚拟机可以ping通宿主机ip，却不能ping通本地网络网关，也不能上网，开始以为是网卡驱动或是mac地址冲突等问题，但都一一排除。仔细想了一下，能ping通宿主机ip，但不能到本地网络网关，可能是宿主机未转发包出去。

解决方案：

开始以为只是包转发问题，于是根据查找资料，在/etc/sysctl.conf中添加：

net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0

并使用sudo sysctl -p 生效。

上面几条代码的意思是不让iptables过滤桥接网卡的包。

但是后面查看几台运行centos系统的宿主机上面并没有将这几条设置为0，当时也没想清楚为什么。

就在写到这里的时候，突然想起了防火墙设置，于是去查看发现，centos宿主机没开防火墙，所以iptables规则设置成什么都不会生效，而ubuntu系统开启了防火墙，所以要设置为0，取消包过滤才行！

根据以上推测，关闭了ubuntu的防火墙，并查看了规则列表，发现里面设置了仅允许NAT模式网卡通信，因此确定最终原因是因为防火墙规则。

五、总结

Clonezilla备份还原过程操作不算复杂，只是有些细节要因环境而异，在实际操作中要做好准备，确保镜像能够正常还原并启动。另外有兴趣的同学可以尝试使用pxe启动的方式进行备份还原，操作过程基本一致，这里就不再赘述了。