DPDK+OVS+QEMU搭建vhost-user实验环境

作者: 少阁主_enfj | 来源:发表于2017-09-12 09:56 被阅读503次

DPDK+OVS+QEMU搭建vhost-user实验环境
Corba项目笔记
实验环境搭建
搭建实验环境
Redis的安装到主从与哨兵配置
微服务实施笔记（二）——搭建实验部署环境
交叉编译环境搭建
深度学习环境版本排坑指南
搭建ES集群
LVS DR模式搭建、keepalived + LVS

目前在virtio后端驱动方面性能最好的是用户态的vhost-user，而DPDK又是用户态vhost实现里使用最广泛的。下面介绍一下怎么搭建这样一个vhost-user实验环境。我们这里使用的全部是最新的版本（ovs2.8+DPDK17.05+qemu2.9.93）.

1.由于涉及到虚拟化，先检查计算机是否开启了虚拟化

先确保计算机bios打开了Intel-VT，然后检查grub选项是否开启了IOMMU，vim打开/etc/default/grub，在GRUB_CMDLINE_LINUX_DEFAULT后的引号里面加上一句：

iommu=pt intel_iommu=on default_hugepagesz=1G hugepagesz=1G hugepages=8

如图所示：

grub设置.png

这里直接添加了大页的配置，DPDK的大页配置支持2MB大页和1GB大页，使用的时候根据具体情况而定，这里我们分配了8个1GB的大页。

2.然后编译DPDK

DPDK默认编译成.a的静态链接库，这里我们可以修改DPDK文件夹下的config/common_base文件里的CONFIG_RTE_BUILD_SHARED_LIB=y （但有一点要注意的就是，common_base是生成所有平台下编译选项的基础，直接修改也会影响其他target下的编译，也可以仅仅修改生成的本平台下的config文件，或者lib库编译里面的build/.config）来编译成动态链接库。该文件是所有架构下最基础引用的配置文件，在文件中可以设置某些库不编译，以及是否编译允许debug等。

之后就和官网教程一样，设置编译目标环境，config等

make config T=x86_64-native-linuxapp-gcc

sed -ri 's,(PMD_PCAP=).*,\1y,' build/.config

make

make install

make完成之后，去build/lib文件夹下把整个文件夹里面的.so动态链接库文件全部复制到/usr/lib/dpdk/文件夹下，没有文件夹就建一个。然后在/etc/ld.so.conf.d/文件夹下建一个dpdk.conf文件，编辑dpdk.conf，写一句话：/usr/lib/dpdk。保存退出，命令行输入ldconfig，使系统自动加载的动态链接库生效。

也可以不这么做，但每次运行都需要改下环境变量，LD_LIBRARY_PATH指向我们刚刚编译好的lib文件夹。

3.编译OVS

在ovs文件夹内configure时加上--with-dpdk选项，即可与DPDK关联。

./configure --with-dpdk=$DPDK_BUILD

DPDK_BUILD就是之前编译dpdk之后产生的build文件夹路径。
然后

make

make install

安装完成之后，就可以启动ovs了，需要DPDK实现绑定大页和网卡，这里我们可以用一个脚本直接实现这一系列操作（以后每次启动dpdk和ovs直接运行该脚本即可）：

#!/bin/bash

modprobe vfio-pci

chmod a+x /dev/vfio

chmod 0666 /dev/vfio/*

/home/yangye/ovs-dpdk/dpdk-stable-17.05.1/usertools/dpdk-devbind.py --bind=vfio-pci eth4

mount -t hugetlbfs -o pagesize=1G none /dev/hugepages

ovsdb-server --remote=punix:/usr/local/var/run/openvswitch/db.sock --remote=db:Open_vSwitch,Open_vSwitch,manager_options --private-key=db:Open_vSwitch,SSL,private_key --certificate=db:Open_vSwitch,SSL,certificate --bootstrap-ca-cert=db:Open_vSwitch,SSL,ca_cert --pidfile --detachovs-vsctl --no-wait set Open_vSwitch . other_config:dpdk-init=true

ovs-vswitchd --pidfile --detach

其中的网卡绑定结合实际选择网卡，这样ovsdb和ovs-switchd进程都启动了，就可以执行ovs命令了。
建立一个虚拟网桥用于和qemu前端进行socket通信。

ovs-vsctl add-br br0 -- set bridge br0 datapath_type=netdev

ovs-vsctl add-port br0 vhost-user-1 -- set Interface vhost-user-1 type=dpdkvhostuserclient options:vhost-server-path="/tmp/sock0"

第一次有可能因为未来得及分配内存建立端口时候不成功，删除了这个端口再建一次：

ovs-vsctl del-port br0 vhost-user-1

ovs-vsctl add-port br0 vhost-user-1 -- set Interface vhost-user-1 type=dpdkvhostuserclient options:vhost-server-path="/tmp/sock0"

建立网桥和端口有没有成功，可以用ovs-vsctl show命令查看，正确的状态如下：

d9fd8d79-b6c0-4f13-8369-4755085471ba

   Bridge "br0"

       Port "br0"

           Interface "br0"

               type: internal

       Port "vhost-user-1"

           Interface "vhost-user-1"

               type: dpdkvhostuserclient

               options: {vhost-server-path="/tmp/sock0"}

至此，后端驱动vhost以及它之上的交换机已经启动了，处于等待状态。（但是qemu 2.7以上才支持重连功能）

4.再来安装qemu

qemu安装比较简单，直接configure、make、make install即可。
创建镜像，必须要qcow2格式：

qemu-img create -f qcow2 virtual.img 20G

安装虚拟机，设置了端口50，可以用VNC远处连接虚拟机：

qemu-system-x86_64 -m 2048 --enable-kvm -boot d -hda /var/iso/virtual.img -cdrom /var/iso/ubuntu-16.04.2-desktop-amd64.iso -vnc 0.0.0.0:50

启动虚拟机：

qemu-system-x86_64 -machine accel=kvm -cpu host -smp sockets=2,cores=2,threads=2 -m 2048M -object memory-backend-file,id=mem,size=2048M,mem-path=/dev/hugepages,share=on -drive file=/var/iso/virtual.img -drive file=/opt/share.img,if=virtio -mem-prealloc -numa node,memdev=mem -vnc 0.0.0.0:50 --enable-kvm -chardev socket,id=char1,path=/tmp/sock0,server -netdev type=vhost-user,id=mynet1,chardev=char1,vhostforce -device virtio-net-pci,netdev=mynet1,id=net1,mac=00:00:00:00:00:01

虚拟机启动，vhost的前后端驱动也已连接。此时在/var/log/syslog中也能看到DPDK输出的日志信息，读取了前端qemu的内存布局。这样一个vhost-user环境就已经搭起来了，可以用TightVNC远程连接这个虚拟机了。