码迷,mamicode.com
首页 > 其他好文 > 详细

KVM网络性能调优

时间:2018-03-19 19:02:00      阅读:1352      评论:0      收藏:0      [点我收藏+]

标签:dede   set   linu   kvm   centos7   红色   ima   win   mon   

首先,我给大家看一张图,这张图是数据包从虚拟机开始然后最后到物理网卡的过程。
技术分享图片

我们分析下这张图,虚拟机有数据包肯定是先走虚拟机自身的那张虚拟网卡,然后发到中间的虚拟化层,再然后是传到宿主机里的内核网桥中,最后传到物理网卡,这个过程很好理解。
那么我们要做网络的优化,让虚拟机的网络运行得更加高效,我们要想的就是让虚拟机访问到物理网卡的层次要少。或者说能不能让宿主机的物理网卡直接丢给虚拟机用,这样达到最高的网络性能。

那么目前KVM提高网络性能这块有以下四种方法:

  1. 使用virtio半虚拟化网卡
  2. 使用vhost_net
  3. 虚拟机网卡独占
  4. SRIOV技术

1、使用virtio半虚拟化网卡
首先要明确一点,那就是全虚拟化网卡的性能是不如半虚拟化网卡的,因为半虚拟化网卡virtio是使用了驱动进行改造了的,所以性能上肯定是强过用户态下的全虚拟化网卡。
技术分享图片

这张图可以看出全虚拟化跟半虚拟化的区别
技术分享图片
使用virtio 就是让vm的数据包直接跟虚拟化层接触,如上图。

注意,Linux的内核是从2.6.24才开始支持Virtio的。CentOS6系列都是支持的,我们查看linux是否支持Virtio可以通过下面这个命令查看:

[root@collber cobbler]# grep -i Virtio /boot/config-3.10.0-693.el7.x86_64 
CONFIG_VIRTIO_VSOCKETS=m
CONFIG_VIRTIO_VSOCKETS_COMMON=m
CONFIG_VIRTIO_BLK=m
CONFIG_SCSI_VIRTIO=m
CONFIG_VIRTIO_NET=m
CONFIG_VIRTIO_CONSOLE=m
CONFIG_HW_RANDOM_VIRTIO=m
CONFIG_DRM_VIRTIO_GPU=m
CONFIG_VIRTIO=m
# Virtio drivers
CONFIG_VIRTIO_PCI=m
CONFIG_VIRTIO_PCI_LEGACY=y
CONFIG_VIRTIO_BALLOON=m
CONFIG_VIRTIO_INPUT=m
# CONFIG_VIRTIO_MMIO is not set

Linux系统原生自带就有,但是如果你的虚拟机是Windows,那么得装Virtio驱动。

如果你不指定,那么虚拟机会默认使用8139的全虚拟化网卡,8139网卡是Realtek的百兆。

在实际的测试结果中使用virtio要比使用e1000或者rtl8139网络吞吐性能要高出2倍左右,如下图的测试数据就可以看出,注意,蓝色和绿色分别是全虚拟化下的8139和e1000,红色的就是virtio模式;测试的数据差距确实很大。
技术分享图片

2、使用vhost_net
vhost-net是对于virtio的优化,在内核中加入了vhost-net.ko模块,使得对网络数据可以在内核态得到处理。
技术分享图片

我们可以从这图看到,数据包从虚拟网卡出来后,直接跳到了内核那一层中。这里要注意的是,如果你要使用vhost-net那么,你虚拟机的网卡类型必须是virtio的。
我们要使用vhost-net,只要编辑虚拟机的XML文件,加入

至于vhost-net跟virtio的区别,我们可以看红帽官方文档的解释:
技术分享图片
首先,我们可以从架构图看到区别,vhost_net 下用户态QEMU不参与数据包的发送了,虚拟机数据包直接进入内核态,减少了两个空间内存拷贝和cpu的切换。这样的好处就是图中红色框框里说的那样,可以降低延迟以及提高CPU的使用率。但是这里要注意一点的就是,如果虚拟机接收数据包的速度慢于宿主机发送的速度,那么不建议使用vhost_net。

3、虚拟机网卡独占
虚拟机网卡独占,很简单,就是说把宿主机的网卡直接配置给虚拟机使用,这样,减少了中间的三个层次,如图:
技术分享图片

我们可以先用lspci命令查看宿主机pci网卡信息:
技术分享图片

通过上面这个命令,我们可以发现宿主机有4块网卡(注意前面02:00.0的短标识符信息,我们接下来会用到)
我们使用virsh nodedev-list --cap pci命令也可以罗列出PCI设备列表

注意,我们可以通过上个图中前面显示的短标识符(如02:00.0),找到下面对应的PCI名称(后面的02_00_0),如红色框框所示:
技术分享图片

然后我们可以再用virsh nodedev-dumpxml + pci name得到PCI XML配置信息:
如:virsh nodedev-dumpxml pci_0000_02_00_0
技术分享图片

OK,以上是PCI信息的查看,那么我们如何把PCI网卡直接丢给虚拟机使用呢?接下来我们做以下配置即可:

首先你得确认你的宿主机是否开启了IOMMU服务,CentOS7下默认是不开启的,我们用命令dmesg | grep -iE "dmar|iommu"可以先查看(执行这个命令如果没任何输出,说明没打开)。然后我们修改vim /etc/sysconfig/grub ,在GRUB_CMDLINE_LINUX那行添加intel_iommu=on(如果是intel平台的话);再然后执行grub2-mkconfig -o /boot/grub2/grub.cfg生效,最后重启系统。

做完以上操作之后,我们就可以开始给虚拟机添加PCI设备了。

我们要关注的是PCI XML信息里的以下四个:

<domain>0</domain>

<bus>2</bus>

<slot>0</slot>

<function>0</function>

有了这四个信息后,我们先把需要设置的VM进行关机,然后运行virsh edit vmname 进行xml的修改。

我们在虚拟机的XML添加下面内容:

<hostdev mode=‘subsystem‘ type=‘pci‘ managed=‘yes‘>

<source>

<address domain=‘0‘ bus=‘2‘ slot=‘0‘ function=‘0‘

本文转自:http://www.sohu.com/a/140668189_610730

KVM网络性能调优

标签:dede   set   linu   kvm   centos7   红色   ima   win   mon   

原文地址:https://www.cnblogs.com/tongxiaoda/p/8603746.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!