SR-IOV概念
single root input/output virtualization,SR-IOV可以将一个独立的物理PCI资源划分成多个虚拟的PCI资源,并可以加载到虚拟机内使用。由于有了网络VF,令流量绕过宿主机的网络栈,SR-IOV增强了南北向(从虚拟机末端流出宿主机的流量)的网络性能。
支持的网卡型号
Intel X710(32VF)、XL710(64VF)、X540(32VF)等
接入方法
- 作为SR-IOV VF PCI的直通设备接入
- 使用macvtap作为SR-IOV网络适配器
- 使用KVM的虚拟网络适配器池,作为SR-IOV网络适配器接入
- 如果使用XL710网卡,需要在虚拟机内安装Data Plane Development Kit (DPDK) ,否则无法达到最高性能。
一、直通设备接入
-
查看VF PCI的总线信息,也可以使用该脚本查看https://github.com/intel/SDN-NFV-Hands-on-Samples/blob/master/SR-IOV_Network_Virtual_Functions_in_KVM/listvfs_by_pf.sh
# lshw -c network -businfo
-
添加一个<hostdev>的tag到虚拟机。
通过上面的脚本将查看到的domain、bus、slot及function信息写入tag内。
# virsh edit <name of virtual machine> # virsh dump <name of virtual machine> <domain> … <devices> … <hostdev mode='subsystem' type='pci' managed='yes'> <source> <address domain='0x0000' bus='0x03' slot='0x10' function='0x0'/> </source> </hostdev> … </devices> … </domain>
启动虚拟机。
二、使用macvtap作为SR-IOV网络适配器
这种方式不需要知道VF 的PCI总线信息,只需要知道系统创建的VF的接口名称。
执行脚本,确定VF的接口名称。
-
关机,增加interface的tag到虚拟机。
# virsh edit <name of virtual machine> # virsh dump <name of virtual machine> <domain> … <devices> … <interface type='direct'> <source dev='enp3s16f1' mode='passthrough'/> </interface> … </devices> … </domain>
当虚拟机开机后,KVM会在指定的VF接口创建一个macvtap的适配器,在宿主上能看到一个macvtap适配器,它的mac地址和vm内的设备是不同的。实际上,一个macvtap设备会被分配了两个mac地址,这种复杂的配置可能会导致网络性能变差。
三、使用KVM的虚拟网络适配器池
用这种方式配置既不需要知道VF的PCI信息也不需要知道VF的接口名称,只需要知道物理网卡的名称即可完成配置。KVM将会创建一个VF网络设备的资源池,资源池内的设备可以自动地分配给虚拟机使用,资源池内的设备数量取决于物理网络创建的VF数量。
-
创建虚拟网络适配器池。
查看已经创建了VF的网卡设备,找到出现vf字段的设备。
ip l
创建一个XML。
# cat > sr-iov-net-XL710.xml << EOF > <network> > <name>sr-iov-net-40G-XL710</name> > <forward mode='hostdev' managed='yes'> > <pf dev='ens802f0'/> > </forward> > </network> > EOF
Virsh define这个网络池。
# virsh net-define sr-iov-net-XL710.xml
-
展示全部的虚拟网络。
# virsh net-list --all Name State Autostart Persistent ---------------------------------------------------------- default active yes yes sr-iov-net-40G-XL710 inactive no yes
-
启动及配置自启动。
# virsh net-start sr-iov-net-40G-XL710 # virsh net-autostart sr-iov-net-40G-XL710
-
使用virsh-edit增加一个网络适配器的tag,从网络池接入一个设备到虚拟机。
# virsh edit <name of virtual machine> # virsh dump <name of virtual machine> <domain> … <devices> … <interface type='network'> <source network='sr-iov-net-40G-XL710'/> </interface> … </devices> … </domain>
-
启动虚拟机。
# virsh start <name of virtual machine>
参考:https://software.intel.com/en-us/articles/configure-sr-iov-network-virtual-functions-in-linux-kvm