虚拟化网络进阶管理

#虚拟交换机支持vlan功能

modinfo 8021q

modeprobe 8021q

1 yum info vconfig 
2 yum install -y vconfig

1 vconfig --help

ip netns list
ip netns add NAME
ip netns set NAME NETNSID
ip [-all] netns delete [NAME]
ip netns identify [PID]
ip netns pids NAME
ip [-all] netns exec [NAME] cmd ...
ip netns monitor
ip netns list-id

ip netns exec NAME ifconfig -a
ip netns exec NAME route -n

准备KVM虚拟机

    yum install -y qemu-kvm

    ln -sv /usr/libexec/qemu-kvm /usr/bin

    modprobe kvm

    modprobe kvm_intel

    mkdir -pv /images/kvm; cd /images/kvm

    wget https://launchpad.net/cirros/trunk/0.3.0/+download/cirros-0.3.0-x86_64-disk.img

    cp /images/kvm/cirros-0.3.0-x86_64-disk.img test1.qcow1

    cp /images/kvm/cirros-0.3.0-x86_64-disk.img test2.qcow2

    vim /etc/qemu-ifup

        #! /bin/bash
        # 
        bridge=br-in

        if [ -n "$1" ];then
            ip link set $1 up
            sleep 1
            brctl addif $bridge $1 
        [ $? -eq 0 ] && exit 0 || exit 1
            else
            echo "Error: no interface scpecified."
        exit 1
        fi
    
    chmod +x /etc/qemu-ifup

    bash -n /etc/qemu-ifup

    qemu-kvm -m 128 -name vm1 -smp 1 -drive file=/images/kvm/test1.qcow2,if=virtio,media=disk,cache=writeback,format=qcow2     -net nic,macaddr=52:54:00:00:00:01 -net tap,ifname=vif1.0,script=/etc/qemu-ifup --nographic

    qemu-kvm -m 128 -name vm1 -smp 1 -drive file=/images/kvm/test2.qcow2,if=virtio,media=disk,cache=writeback,format=qcow2     -net nic,macaddr=52:54:00:00:00:02 -net tap,ifname=vif2.0,script=/etc/qemu-ifup --nographic

    # 查看桥接属性，可以看到两个虚拟机的tap设备都桥接到br-in上了

    brctl show

打开网络间转发功能

    vim /etc/sysctl.conf 

        net.ipv4.ip_forward = 1

    sysctl -p

准备虚拟交换机

    # 一下方式不持久，持久化必须写进文件中

    brctl addbr br-in

    ip link set br-in up

创建网卡对，在内部虚拟交换机上使用

    ip link help

    ip link add vinr type veth peer name vins

    ip link set vint up

    ip link set vins up 

    ip link show

    brctl addif br-in vins 

划分名称空间

    ip netns add internal

    ip netns list

将br-in连接到虚拟路由器上

    ip link set vinr netns internal

    ip link show

    ip netns exec internal ip config -a

    ip netns exec internal ip link set vinr name eth0

    ip netns exec internal ip link set eth0 up

    ip netns exec internal ifconfig eth0 10.0.1.254/24 up

修改两个虚拟机的IP地址

    VM1

        sudo su - 

        ifconfig eth0 10.0.1.1/24 up

        ping 10.0.1.254

        route add default gw 10.0.1.254

    VM2

        sudo su - 

        ifconfig eth0 10.0.1.2/24 up

        ping 10.0.1.254

        route add default gw 10.0.1.254

准备虚拟物理交换机

    # 一下方式不持久，持久化必须写进文件中

        brctl addbr br-ex

        ip link set br-ex up  

        ip addr del 192.168.180.128/24 dev ens33; ip addr add 192.168.180.128/24 dev br-ex; brctl addif br-ex ens33 

        ifconfig

    # 持久方式

        cp /etc/sysconfig/network-script/ifcfg-ens33 /etc/sysconfig/network-script/ifcfg-br-ex

        vim /etc/sysconfig/network-script/ifcfg-br-ex
            BOOTPROTO=static 
            DEVICE=br-ex
            TYPE=Bridge 
            NM_CONTROLLED=no 
            IPADDR=192.168.180.128 
            NETMASK=255.255.255.0 
            GATEWAY=192.168.180.1 
            DNS1=114.114.114.144 
            DNS2=8.8.8.8

        vim /etc/sysconfig/network-script/ifcfg-ens33 
        BOOTPROTO=none 
        DEVICE=ens33 
        NM_CONTROLLED=no 
        ONBOOT=yes 
        BRIDGE=br-ex

        systemctl stop NetworkManager

        chkconfig NetworkManager off 

        systemctl restart network

创建网卡对，在虚拟物理交换机上使用

    ip link add vexr type veth peer name vexs

    ip link set vexr up

    ip link set vexs up 

    ip link show

    brctl addif br-ex vexs

将br-ex连接到虚拟路由器上

    ip link set vexr netns internal

    ip link show

    ip netns exec internal ip config -a

    ip netns exec internal ip link set vexr name eth1

    ip netns exec internal ip link set eth1 up

    ip netns exec internal ifconfig eth1 192.168.180.200/24 up

为了使内部虚拟机地址能访问外网，我们在网络名称空间internal中配置NAT规则

    ip netns exec internal iptables -t nat -A POSTROUTING -s 10.0.0.1/24 ! -d 10.0.0.1/24 -j SNAT --to-source 192.168.180.200

    ip netns exec internal iptables -t nat -L -n

为虚拟机配置一台DNS服务器

    yum install -y dnsmasq

    ip netns exec internal dnsmasq --dhcp-range=10.0.1.100,10.0.1.120 --dhcp-option=option:router,10.0.1.254

    ip netns exec internal ps aux | grep dnsmasq

虚拟机尝试获取DHCP分配地址

    udhcp -R

    ping 10.0.78.25

VM3、VM4类似，自行配置即可

* ovs-vswitchd

    OVS守护进程

    实现数据报文交换功能

    和Linux兼容模块一同实现基于流交换技术

* ovsdb-server

    轻量级的数据库服务

    存储OVS交换机上的接口、接口配置、VLAN等

    ovs-vswitched基于此配置信息交换数据

ovs-dpctl

* ovs-vsctl 

    用于获取、更改ovs-vswitched的配置信息

    操作结果存储于ovsdb-server

ovs-appctl 

ovsdbmonitor

    显示监控信息

ovs-controller

    流控制工具

ovs-ofctl 

ovs-pki

show    显示ovsdb配置内容

add-br  添加桥设备

del-br  删除桥设备

add-port    显示所有定义已定义桥

del-port    删除指定桥上的指定PORT

list-br     将PORT添加至指定桥设备

list-ports  显示指定桥上的所有PORT

list-ifaces 显示指定桥上的接口信息

list Interface 显示数据库中接口的详细信息

list Port   显示数据库中PORT的详细信息

find Port name = "ens37"    条件查询数据库的指定PORT

set TBL REC COL[:KEY]=VALUE     set COLumn values in RECord in TBL

add TBL REC COL [KEY=]VALUE     add (KEY=)VALUE to COLumn in RECord in TBL

remove TBL REC COL [KEY=]VALUE  remove (KEY=)VALUE from COLumn

clear TBL REC COL               clear values from COLumn in RECord in TBL

create TBL COL[:KEY]=VALUE      create and initialize new record

destroy TBL REC                 delete RECord from TBL

架构

    计算节点

        Node1

            OS： CentOS7

            ens33: 192.168.180.135/24 此处网络连接管理网络和外网网络

            ens37: 172.16.0.1/24 节点数据网络

            VM1 eth0: 10.0.0.1/24 

            VM2 eth0: 10.0.0.2/24

            VM3 eth0: 10.0.0.3/24

以下配置全部在Node1上进行

安装openvswitch

    yum -y install openssl-devel kernel-devel

    yum groupinstall "Development Tools" -y

    adduser ovswitch

    su - ovswitch

    wget http://openvswitch.org/releases/openvswitch-2.3.0.tar.gz

    tar xfz openvswitch-2.3.0.tar.gz

    mkdir -p ~/rpmbuild/SOURCES

    cp openvswitch-2.3.0.tar.gz ~/rpmbuild/SOURCES

    # 去除Nicira提供的openvswitch-kmod依赖包，创建新的spec文件

    sed ‘s/openvswitch-kmod, //g‘ openvswitch-2.3.0/rhel/openvswitch.spec > openvswitch-2.3.0/rhel/openvswitch_no_kmod.spec

    rpmbuild -bb --without check ~/openvswitch-2.3.0/rhel/openvswitch_no_kmod.spec

    yum -y localinstall /home/ovswitch/rpmbuild/RPMS/x86_64/openvswitch-2.3.0-1.x86_64.rpm

    rpm -qf `which ovs-vsctl`

    # 由于SELinux会影响Open vSwitch的运行，比如报错：
    
    # error: /etc/openvswitch/conf.db: failed to lock lockfile (No such file or directory)原因是没有权限修改/etc/openvswitch的owner

    # 如果环境允许可用关掉SELinux；想保持enabled需要做如下修改:

    mkdir /etc/openvswitch

    semanage fcontext -a -t openvswitch_rw_t "/etc/openvswitch(/.*)?"

    restorecon -Rv /etc/openvswitch

    # 启动服务

    systemctl start openvswitch.service

    # 查看各软件包路径

    rpm -ql openvswitch

添加虚拟桥设备

    ovs-vsctl add-br br-in

准Xen虚拟化环境或KVM虚拟化环境

    Xen：http://www.cnblogs.com/cq146637/p/8931844.html

    KVM：http://www.cnblogs.com/cq146637/p/8932135.html

脚本编写

    vim /etc/if-up

        #!/bin/bash
        #
        bridge="br-in" 

        if [ -n "$1" ]; then 
            ip link set $1 up
            sleep 1
            ovs-vsctl add-port $bridge $1
            [ $? -eq 0 ] && exit 0 || exit 1
        else
            echo "Error: no port scpecified."
            exit 2
        fi

    vim /etc/if-down

        #!/bin/bash
        #
        bridge="br-in"

        if [ -n "$1" ]; then
            ip link set $1 down
            sleep 1
            ovs-vsctl del-port $bridge $1
            [ $? -eq 0 ] && exit 0 || exit 1
        else
            echo "Error: no port scpecified."
            exit 2
        fi

    chmod +x /etc/if-up

    chmod +x /etc/if-down 

    bash -n /etc/if-up

    bash -n /etc/if-down 

创建虚拟机

    mkdir -pv /images/cirros/

    cd /images/cirros/

    wget https://launchpad.net/cirros/trunk/0.3.0/+download/cirros-0.3.0-x86_64-disk.img

    cp cirros-0.3.0-x86_64-disk.img test1.img 

    cp cirros-0.3.0-x86_64-disk.img test2.img

    cp cirros-0.3.0-x86_64-disk.img test3.img 

    # 此处采用qemu-kvm创建虚拟机

    qemu-kvm -name "VM1" -m 128 -smp 1 -drive file=/images/cirros/test1.img,media=disk,if=virtio         -net nic,model=virtio,macaddr=52:54:00:00:00:01         -net tap,ifname=vif1.0,script=/etc/if-up,downscript=/etc/if-down -daemonize

    qemu-kvm -name "VM2" -m 128 -smp 1 -drive file=/images/cirros/test2.img,media=disk,if=virtio         -net nic,model=virtio,macaddr=52:54:00:00:00:02         -net tap,ifname=vif2.0,script=/etc/if-up,downscript=/etc/if-down -daemonize

修改虚拟机的IP地址

    VM1

        vncviewer :5900 &

        ifconfig eth0 10.0.0.1 netmask 255.255.255.0 up 

    VM2

        vncviewer :5901 &

        ifconfig eth0 10.0.0.2 netmask 255.255.255.0 up

测试此时的联通性

    VM1 ping VM2

    # 结果可以ping通

将两台虚拟机tap分别添加到vlan中

    ovs-vsctl set port vif1.0 tag=10

    # 此时测试连通性，结果是不通的

    # 同一网段，不在同一vlan则不能通信

    ovs-vsctl set port vif2.0 tag=20

    # 此时测试连通性，结果是连通的

在创建一台虚拟机，使得不同虚拟机交换机中，同一vlan的虚拟机能互相通信

    ovs-vsctl add-br br-test

    cp if-up if-up-test

        bridge="br-test"

    cp if-down if-down-test

        bridge="br-test"

    创建 VM3

        qemu-kvm -name "VM3" -m 128 -smp 1 -drive file=/images/cirros/test3.img,media=disk,if=virtio             -net nic,model=virtio,macaddr=52:54:00:00:00:03             -net tap,ifname=vif3.0,script=/etc/if-up,downscript=/etc/if-down -daemonize

    VM3

        vncviewer :5902 &

        ifconfig eth0 10.0.0.3 netmask 255.255.255.0 up 

    ip link add vs3.0 type veth peer name vs3.1

    ip link set vs3.0 up

    ip link set vs3.1 up

    ovs-vsctl add-port br-in vs3.0

    ovs-vsctl add-port br-test vs3.1

    # 此时ping与其它两台虚拟机不能通

    # 因为VM3的tap没有添加到vlan10中

    ovs-vsctl set port vif3.0 tag=10

    # 此时ping与其它两台虚拟机就可以互相通信了

    # 因为默认情况下，虚拟两台交换机自动协商为trunk模式

架构

    计算节点

        Node1

            OS： CentOS7

            ens33: 192.168.180.135/24 此处网络连接管理网络和外网网络

            ens37: 172.16.0.1/24 节点数据网络

            VM1 eth0: 10.0.0.1/24 

            VM2 eth0: 10.0.0.2/24

            VM3 eth0: 10.0.0.3/24
        
        Node2

            OS: CentOS7

            ens33: 192.168.180.136/24 此处网络连接管理网络和外网网络

            ens37: 172.16.0.2/24 节点数据网络

            VM4 eth0: 10.0.0.4/24 

            VM5 eth0: 10.0.0.5/24

准备须知

    在上一个环境的基础上，继续配置添加新节点和虚拟机

    此次实验使用GRE协议，协助数据包在不同节点上传输

    GRE Generic Routing Encapsulation 
    
        通用路由封装协议，类似隧道技术

        在点对点的基础上，对数据包进行封装解封装，完成隧道通信

所有节点打开网络间转发功能

    vim /etc/sysctl.conf 

        net.ipv4.ip_forward = 1

    sysctl -p

节点二：

    拷贝Node1上的脚本文件

        scp root@192.168.47.135:/etc/{if-up,if-down} /etc/.

    安装openvswitch

        ...

    配置虚拟网桥

        ovs-vsctl add-br br-in

    准Xen虚拟化环境或KVM虚拟化环境

        ...
    
    创建虚拟机

        mkdir -pv /images/cirros/

        cd /images/cirros/

        wget https://launchpad.net/cirros/trunk/0.3.0/+download/cirros-0.3.0-x86_64-disk.img

        cp cirros-0.3.0-x86_64-disk.img test4.img 

        cp cirros-0.3.0-x86_64-disk.img test5.img

        # 此处采用qemu-kvm创建虚拟机

        qemu-kvm -name "VM4" -m 128 -smp 1 -drive file=/images/cirros/test4.img,media=disk,if=virtio             -net nic,model=virtio,macaddr=52:54:00:00:00:04             -net tap,ifname=vif1.0,script=/etc/if-up,downscript=/etc/if-down -daemonize

        qemu-kvm -name "VM5" -m 128 -smp 1 -drive file=/images/cirros/test5.img,media=disk,if=virtio             -net nic,model=virtio,macaddr=52:54:00:00:00:05             -net tap,ifname=vif2.0,script=/etc/if-up,downscript=/etc/if-down -daemonize

    修改虚拟机的IP地址

        Node2 

        VM4

            vncviewer :5900 &

            ifconfig eth0 10.0.0.4 netmask 255.255.255.0 up 

        VM5

            vncviewer :5901 &

            ifconfig eth0 10.0.0.5 netmask 255.255.255.0 up

        VM4 ping VM5 

            能Ping通

    此次添加DNS服务器，使得虚拟机自动获取地址

        Node1 

            yum update -y iproute

            yum install -y dnsmasq

            ip netns add internal

            ip link add vsifs type veth peer name vsifr 

            ip link set vsifs up 

            ip link set vsifr up 

            ip link set vsifr netns internal 

            ovs-vsctl add-port br-in vsifs

            ip netns exec internal ip link set vsifr up 

            ip netns exec internal ifconfig

            ip netns exec internal ip addr add 10.0.0.254/24 dev vsifr

            ip netns exec internal dnsmasq -F 10.0.0.1,10.0.0.253,86400 --dhcp-option=option:router,10.0.0.254 -i vsifr

            VM1尝试获取DHCP分配地址，进入控制台

                # 注意先把vif1.0的tag标记位去了，才能获取到地址

                udhcpc -R
        
        Node2 

            无须配置，网络链路连通后，VM3、VM4也能通过Node1上DNS服务器获取IP地址

    使用ens37物理网卡传输节点数据

        注意

            ens37网卡无须添加到br-in上，ovs可以借助ens37传输gre封装的数据包

        Node1上，自定义一个IP地址给ens37，可以将修改内容写进文件中达到持久化的效果

            ip addr add 172.16.0.1/24 dev ens37

        Node2上，自定义一个IP地址给ens37

            ip addr add 172.16.0.2/24 dev ens37

        在br-in上添加端口，用于gre封装数据包

            两个节点都要做
            
                ovs-vsctl add-port br-in gre0

            设置接口ger0属性，使它工作于gre模式

                Node1

                    ovs-vsctl set interface gre0 type=gre options:remote_ip=172.16.0.1

                Node2

                    ovs-vsctl set interface gre0 type=gre options:remote_ip=172.16.0.2

    配置VLAN使得VM1能和VM3通信，VM2能和VM4通信，VM1不能和VM2通信，VM3不能和VM4通信

        Node1

            ovs-vsctl set port vif1.0 tag=10 -- set port vif2.0 tag=20 -- set port vif3.0 tag=10

        Node2

            ovs-vsctl set port vif1.0 tag=10 -- set port vif2.0 tag=20

    查看使用GRE通信内容

        VM1：

            ping VM3_IP

        抓包查看GRE内容

            tcpdump -i ens37 -nn

    删除所有节点gre配置

        ovs-vsctl del-port br-in gre0

    此时实验将通信协议GRE，改用为VxLAN协议

    在br-in上添加端口，用于gre封装数据包

        两个节点都要做
        
            ovs-vsctl add-port br-in vxlan0

        设置接口ger0属性，使它工作于gre模式

            Node1

                ovs-vsctl set interface vxlan0 type=vxlan options:remote_ip=172.16.0.2

            Node2

                ovs-vsctl set interface vxlan0 type=vxlan0 options:remote_ip=172.16.0.1
    
    查看使用VxLAN通信内容

        VM1：

            ping VM3_IP

        抓包查看VxLAN内容

            tcpdump -i ens37 -nn

            14:14:43.056888 IP 172.16.0.1 > 172.16.0.2: GREv0, length 50: ARP, Request who-has 10.0.0.2 tell 10.0.0.3, length 28
            14:14:43.329817 IP 172.16.0.2 > 172.16.0.1: GREv0, length 106: IP 10.0.0.29 > 10.0.0.1: ICMP echo request, id 2305, seq 88, length 64
            14:14:43.330376 IP 172.16.0.1 > 172.16.0.2: GREv0, length 106: IP 10.0.0.1 > 10.0.0.29: ICMP echo reply, id 2305, seq 88, length 64

架构

    计算节点

        Node1

            OS： CentOS7

            ens33: 172.16.100.1/24 管理网络

            ens37: 172.16.0.1/24 节点数据网络

            VM1 eth0: 10.0.0.1/24 

            VM2 eth0: 10.0.0.2/24

            VM3 eth0: 10.0.0.3/24
        
        Node2

            OS: CentOS7

            ens33: 172.16.100.2/24 管理网络

            ens37: 172.16.0.2/24 节点数据网络

            VM4 eth0: 10.0.0.4/24 

            VM5 eth0: 10.0.0.5/24
        
        Network Node

            OS: CentOS7

            ens33: 172.16.100.3/24 管理网络

            ens37: 172.16.0.254/24 节点数据网络

            ens38: 192.168.47.137 外网网络


准备须知

    在上一个环境的基础上，删除所有节点vlan配置，vxlan配置

        ovs-vsctl remove port vif1.0 tag 10 -- remove port vif2.0 tag 20 remove port vif3.0 tag 10 

        ovs-vsctl del-port br-in vxlan0

    添加新的节点，我们称之为网络节点

准备虚拟物理交换机

    # 一下方式不持久，持久化必须写进文件中

        brctl addbr br-ex

        ip link set br-ex up  

        ip addr del 192.168.47.137/24 dev ens38; ip addr add 192.168.47.137/24 dev br-ex; brctl addif br-ex ens38

        ifconfig

    # 持久方式

        cp /etc/sysconfig/network-script/ifcfg-ens33 /etc/sysconfig/network-script/ifcfg-br-ex

        vim /etc/sysconfig/network-script/ifcfg-br-ex
            BOOTPROTO=static 
            DEVICE=br-ex
            TYPE=Bridge 
            NM_CONTROLLED=no 
            IPADDR=192.168.47.137
            NETMASK=255.255.255.0 
            GATEWAY=192.168.180.1 
            DNS1=114.114.114.144 
            DNS2=8.8.8.8

        vim /etc/sysconfig/network-script/ifcfg-ens38
        BOOTPROTO=none 
        DEVICE=ens38
        NM_CONTROLLED=no 
        ONBOOT=yes 
        BRIDGE=br-ex

        systemctl stop NetworkManager

        chkconfig NetworkManager off 

        systemctl restart network

安装openvswitch

    与第一个实验相同

准备OVS虚拟交换机

    # 一下方式不持久，持久化必须写进文件中

    brctl addbr br-in

    ip link set br-in up

在网络节点上创建网络名称空间

    yum update -y iproute

    ip netns add external

创建网卡对，将网络名称空间和br-in连接起来，将br-ex和网络名称空间连接起来

    ip link add vins type veth peer name vinr 

    ip link add vexs type veth peer name vexr

    ip link set vins up 

    ip link set vexs up

    ip link vins netns external

    ip link vexs netns external

    ovs-vsctl add-port br-in vins

    brctl addif br-ex vexs 

修改实验一中网络名称空间internal中为各虚拟机配置的网关IP，将网关IP写到external

    Node1

        ip netns exec internal ifconfig vsifr 10.0.0.100/24 up 

    Network Node

        ip netns exec external ifconfig vinr 10.0.0.254/24 up

        ip netns exec external ifconfig vexr 192.168.47.138/24 up

        ip netns exec external sysctl -w net.ipv4.ip_forward=1

使用GRE协议让计算节点和网络节点通信

        注意

            ens37网卡无须添加到br-in上，ovs可以借助ens37传输gre封装的数据包

        Node1上，自定义一个IP地址给ens37

            ip addr add 172.16.0.1/24 dev ens37

        Node2上，自定义一个IP地址给ens37

            ip addr add 172.16.0.2/24 dev ens37

        网络节点上，自定义一个IP地址给ens37，用于节点数据传输

            ip addr add 172.16.0.254/24 dev ens37

        在br-in上添加端口，用于gre封装数据包

            所有节点都要做
            
                ovs-vsctl add-port br-in gre0

            设置接口ger0属性，使它工作于gre模式

                Node1

                    ovs-vsctl set interface gre0 type=gre options:remote_ip=172.16.0.254

                Node2

                    ovs-vsctl set interface gre0 type=gre options:remote_ip=172.16.0.254

                网络节点

                    ovs-vsctl set interface gre0 type=gre options:remote_ip=172.16.0.1

                    # 其他节点继续添加即可

在external中添加SNAT规则

    ip netns exec external iptables -t nat -A POSTROUTING -s 10.0.0.0/24 -j SNAT --to-source 192.168.47.138

    可实现Node1中的虚拟机可以ping通外网

使用SNAT、DNAT把服务器向互联网开放

    清空external中的规则

        ip netns exec external iptables -t nat -F

    在external添加一个外网地址，将此地址映射为内网虚拟机，专门为某台虚拟机提供访问互联网的能力

        ip netns exec external ifconfig vexr:0 192.168.47.139/24

        ip netns exec external iptables -t nat -A POSTROUTING -s 10.0.0.0/24 -j SNAT --to-source 192.168.47.139

        ip netns exec external iptables -t nat -A PREROUTING -d 192.168.47.139 -j DNAT --to-destination 10.0.0.1

        # 如果需要更多节点对外访问继续添加DNAT规则即可