在KVM中配置SR-IOV

SR-IOV概念

single root input/output virtualization，SR-IOV可以将一个独立的物理PCI资源划分成多个虚拟的PCI资源，并可以加载到虚拟机内使用。由于有了网络VF，令流量绕过宿主机的网络栈，SR-IOV增强了南北向(从虚拟机末端流出宿主机的流量)的网络性能。

支持的网卡型号

Intel X710（32VF）、XL710（64VF）、X540（32VF）等

接入方法

• 作为SR-IOV VF PCI的直通设备接入
• 使用macvtap作为SR-IOV网络适配器
• 使用KVM的虚拟网络适配器池，作为SR-IOV网络适配器接入
• 如果使用XL710网卡，需要在虚拟机内安装Data Plane Development Kit (DPDK) ，否则无法达到最高性能。

一、直通设备接入

1. 查看VF PCI的总线信息，也可以使用该脚本查看https://github.com/intel/SDN-NFV-Hands-on-Samples/blob/master/SR-IOV_Network_Virtual_Functions_in_KVM/listvfs_by_pf.sh

   # lshw -c network -businfo
   

2. 添加一个<hostdev>的tag到虚拟机。

   通过上面的脚本将查看到的domain、bus、slot及function信息写入tag内。

   # virsh edit <name of virtual machine>
   # virsh dump <name of virtual machine>
   <domain>
   …
   <devices>
   …
   <hostdev mode='subsystem' type='pci' managed='yes'>
         <source>
           <address domain='0x0000' bus='0x03' slot='0x10' function='0x0'/>
         </source>
   </hostdev>
   …
   </devices>
   …
   </domain>
   

3. 启动虚拟机。

二、使用macvtap作为SR-IOV网络适配器

这种方式不需要知道VF 的PCI总线信息，只需要知道系统创建的VF的接口名称。

1. 执行脚本，确定VF的接口名称。

2. 关机，增加interface的tag到虚拟机。

   # virsh edit <name of virtual machine>
   # virsh dump <name of virtual machine>
   <domain>
   …
   <devices>
   …
      <interface type='direct'>
         <source dev='enp3s16f1' mode='passthrough'/>
      </interface>
   …
   </devices>
   …
   </domain>
   

3. 当虚拟机开机后，KVM会在指定的VF接口创建一个macvtap的适配器，在宿主上能看到一个macvtap适配器，它的mac地址和vm内的设备是不同的。实际上，一个macvtap设备会被分配了两个mac地址，这种复杂的配置可能会导致网络性能变差。

三、使用KVM的虚拟网络适配器池

用这种方式配置既不需要知道VF的PCI信息也不需要知道VF的接口名称，只需要知道物理网卡的名称即可完成配置。KVM将会创建一个VF网络设备的资源池，资源池内的设备可以自动地分配给虚拟机使用，资源池内的设备数量取决于物理网络创建的VF数量。

1. 创建虚拟网络适配器池。

   查看已经创建了VF的网卡设备，找到出现vf字段的设备。

   ip l
   

   创建一个XML。

   # cat > sr-iov-net-XL710.xml << EOF
   > <network>
   >  <name>sr-iov-net-40G-XL710</name>
   >  <forward mode='hostdev' managed='yes'>
   >   <pf dev='ens802f0'/>
   >  </forward>
   > </network>
   > EOF
   

   Virsh define这个网络池。

   # virsh net-define sr-iov-net-XL710.xml
   

2. 展示全部的虚拟网络。

   # virsh net-list --all
    Name                 State      Autostart     Persistent
   ----------------------------------------------------------
    default              active     yes           yes
    sr-iov-net-40G-XL710 inactive   no            yes
   

3. 启动及配置自启动。

   # virsh net-start sr-iov-net-40G-XL710
   # virsh net-autostart sr-iov-net-40G-XL710
   

4. 使用virsh-edit增加一个网络适配器的tag，从网络池接入一个设备到虚拟机。

   # virsh edit <name of virtual machine>
   # virsh dump <name of virtual machine>
   <domain>
   …
   <devices>
   …
   <interface type='network'>
     <source network='sr-iov-net-40G-XL710'/>
   </interface>
   …
   </devices>
   …
   </domain>
   

5. 启动虚拟机。

   # virsh start <name of virtual machine>
   

参考：https://software.intel.com/en-us/articles/configure-sr-iov-network-virtual-functions-in-linux-kvm