概念
虚拟化 intel VT-x AMD-V SVM
IO虚拟化 intel VT-d IOMMU
单根虚拟化 SRIOV
///PCI位置表示法
<domain>:<bus>:<device>.<function>
domain 0x0000 to 0xffff
bus 0x00 to 0xff
device 0x00 to 0x1f
function 0x0 to 0x7
///PCI设备标识符
<vendor>:<device>:<class>
启用IOMMU
BIOS启用VT-d（intel），IOMMU（AMD）
///linux cmdline配置
grub配置文件修改，添加iommu启动cmdline
opensuse rhel centos fedora
$ sudo vi /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="amd_iommu=on iommu=pt" ///amd cpu添加
GRUB_CMDLINE_LINUX_DEFAULT="intel_iommu=on iommu=pt" ///intel cpu添加
更新grub.cfg文件
opensuse
$ sudo grub2-mkconfig -o /boot/grub2/grub.cfg
rhel centos fedora
$ sudo grub2-mkconfig -o /etc/grub2-efi.cfg ///采用UEFI启动时，更新此文件
$ sudo grub2-mkconfig -o /etc/grub2.cfg ///采用传统BIOS启动时，更新此文件
vfio纳管PCI设备
vfio等相关内核模块写入dracut配置文件，确保模块包含在initramfs中
$ sudo touch /etc/dracut.conf.d/vfio.conf ///创建配置文件
$ sudo vi /etc/dracut.conf.d/vfio.conf ///将以下一行写入配置文件
add_drivers+=" vfio vfio_pci vfio_virqfd vfio_iommu_type1 " ///注意引号之间需有空格
pci设备标识符查询
$ lspci -nn
09:00.0 VGA compatible controller [0300]: NVIDIA Corporation GK110B [GeForce GTX TITAN Black] [10de:100c] (rev a1)
09:00.1 Audio device [0403]: NVIDIA Corporation GK110 High Definition Audio Controller [10de:0e1a] (rev a1)
10de:100c及10de:0e1a即标识符
vfio纳管
$ sudo touch /etc/modprobe.d/vfio-gpu.conf ///在模块加载创建配置文件
$ sudo vi /etc/modprobe.d/vfio-gpu.conf ///配置模块加载参数
options vfio_pci ids=10de:100c,10de:0e1a ///添加pci设备标识符，逗号隔开
///也可以直接添加cmdline, vfio_pci.ids=10de:100c,10de:0e1a
更新initramfs
$ sudo dracut -f
更新linux cmdline
GRUB_CMDLINE_LINUX_DEFAULT="rd.driver.pre=vfio_pci" ///参照cmdline更新流程，添加vfio参数，其他不变
重启系统
$ sudo reboot
PCI设备验证
$ lspci -k
09:00.0 VGA compatible controller: NVIDIA Corporation GK110B [GeForce GTX TITAN Black] (rev a1)
Subsystem: eVga.com. Corp. Device 3791
Kernel driver in use: vfio-pci
Kernel modules: nouveau
09:00.1 Audio device: NVIDIA Corporation GK110 High Definition Audio Controller (rev a1)
Subsystem: eVga.com. Corp. Device 3791
Kernel driver in use: vfio-pci
Kernel modules: snd_hda_intel
///可以看到pci设备驱动程序为vfio，即配置完成，可透传给虚拟机使用
SRIOV
此技术主要是网卡设备支持，可将网卡虚拟成多个网卡设备给到虚拟机使用。
$ lspci ///查看网卡所在pci位置编号
$ cat /sys/bus/pci/devices/0000:41:00.0/sriov_totalvfs ///查看网卡支持的vf数量
$ echo 16 > /sys/bus/pci/devices/0000:41:00.0/sriov_numvfs ///创建vf
vf可以pci直通方式给到虚拟机使用
