客户提问：
阿里云虚拟化热升级技术里的三个关键的技术点是什么？

凯铧互联客服回复：
(1)双KVM内核模块以Intel硬件平台下的KVM为例，普通的KVM架构有一个与架构无关的kvm.ko模块，还有一个管理Intel硬件虚拟化的kvm-intel.ko模块。在热升级框架下，我们做了kvm-intel-0.ko和kvm-Intel-1.ko两个模块，以便实现KVM模块的热升级。我们尽可能地将kvm.ko模块中多数的功能都移到kvm-intel-0.ko模块中，让kvm.ko模块尽可能“薄”。在一般情况下，它不需要热升级，只需要升级架构相关的kvm-intel.ko模块即可。当我们加载kvm-intel-0.ko、kvm-intel-1.ko模块时，会创建相应的/dev/kvm0、/dev/kvm1等设备节点文件，用于QEMU与KVM内核模块的交互。

(2)虚拟机嫁接在KVM上，一个QEMU进程代表一个虚拟机。虚拟机包括内存、虚拟CPU、存储、网卡等，都是由QEMU进程来分配和管理的。将一个虚拟机从前面提到的kvm0迁移到kvm1上，本来可以使用本地热迁移技术，不过这样就需要两份相同大小的虚拟机内存，对于内存数量很大的虚拟机而言，会浪费不少内存资源。在阿里云虚拟化热升级技术中，通过“虚拟机嫁接”将虚拟机的内存和内部状态从一个KVM实例嫁接到另一个KVM实例之上。我们先将虚拟机的内存标为reserved状态，然后派生一个新的QEMU子进程，调用QEMU中的savevm_state函数保存原来虚拟机的内部状态并暂停虚拟机运行，之后在新的QEMU子进程中调用execve()函数加载升级后的QEMU程序文件，并通过loadvm_state函数恢复虚拟机的状态。在这个过程中，但凡有任何的失败，系统都会让最初暂停的QEMU进程重新恢复原来的状态。在具体实现中，需要让新的QEMU进程在execve()函数执行后，能够保留原虚拟机的内存。由于在默认情况下execve()函数并不支持内存的保留，所以我们在宿主机的Linux内核中对mmap函数进行了简单的改造，添加了MAP_KVM_RESERVED这样一个专用于QEMU/KVM热升级的标志。

(3)直通设备移交大型的云服务提供商有不少的计算服务通过将GPU或FPGA设备直通给虚拟机，来加速用户的诸如深度学习、人工智能相关的应用程序。使用IntelVT-d技术实现设备直通，可让虚拟机直接访问硬件设备。现代设备的访问都是由DMA(直接内存访问)来完成的，在虚拟化直通设备的情况下，DMA访问所需的从GPA(虚拟机物理地址)到HPA(物理机物理地址)的转化，是由IOMMU来实现的。如果实现带有直通设备的虚拟机的热升级，那么需要迁移设备的内部状态，重建IOMMU重映射表，保存和恢复正在进行的DMA操作以免造成数据丢失。这是比较复杂的情况，而且没有现成框架可以使用。