ipvs和ipvsadm

ipvs：内核中的协议栈上实现

    ipvs是LVS软件核心，是运行在LB上的，这是个基于ip层的负载均衡。
    ipvs的总体结构主要有ip包处理，负载均衡算法，系统配置和管理三个模块以及虚拟服务器与真实服务器链表组成。
    ipvs管理集群服务管理服务上的RS。
    一个ipvs主机可以同时定义多个cluster server，但可能会影响调度性格。
    一个ipvs服务至少应该有一个RS。
    grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64
    支持的协议：TCP，UDP，AH，ESP，AH_ESP，SCTP
    ipvs 规则： /proc/net/ip_vs
    ipvs 连接：/proc/net/ip_vs_conn

ipvsadm：用户空间的集群服务管理工具

    1）程序包：ipvsadm
        rpm -ql ipvsadm 
        /etc/sysconfig/ipvsadm-config
        /usr/lib/systemd/system/ipvsadm.service
        /usr/sbin/ipvsadm
        /usr/sbin/ipvsadm-restore
        /usr/sbin/ipvsadm-save
        /usr/share/doc/ipvsadm-1.27
        /usr/share/doc/ipvsadm-1.27/README
        
        Unit File: ipvsadm.service
        主程序：/usr/sbin/ipvsadm
        规则保存工具：/usr/sbin/ipvsadm-save
        规则重载工具：/usr/sbin/ipvsadm-restore
        配置文件：/etc/sysconfig/ipvsadm-config
    2）命令：ipvsadm
        ipvsadm - Linux Virtual Server administration
          ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
          ipvsadm -D -t|u|f service-address
          ipvsadm -C
          ipvsadm -R
          ipvsadm -S [-n]
          ipvsadm -a|e -t|u|f service-address -r server-address [options]
          ipvsadm -d -t|u|f service-address -r server-address
          ipvsadm -L|l [options]
          ipvsadm -Z [-t|u|f service-address]
          ipvsadm --set tcp tcpfin udp
          ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid]
          ipvsadm --stop-daemon state
            -A   ，--add-service         添加一个集群服务
            -E   ，--edit-service        修改已添加的集群服务
            -D   ，--delete-service      删除虚拟服务
            -C   ，--clear               清空整个表
            -R   ，--restore             从标准输入重载
            -S   ，--save                保存值到标准输出。
            -a   ，--add-server          向指定的Client Server中添加Real Server.
            -e   ，--edit-server         修改RS
            -d   ，--delete-server       删除真实服务
            -L|-l，--list                列出表
            -Z   ，--zero                清空计数器
            --set tcp tcpfin udp        设置连接超时值
            --start-daemon              开启连接同步后台进程
            --stop-daemon               停止连接同步后台进程
            -t service-address，--tcp-service        服务地址是 host[:port]，tcp协议
            -u service-address，--udp-service        服务地址是host[:port]，udp协议
            -f fwmark，--fwmark-service              防火墙标记
            -6          ，--ipv6                 fwmark 项使用 IPv6
            -s scheduler，--scheduler            rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,调度方法其中之一，默认为wlc。
            --pe engine         备用持久性引擎可能是 sip,默认情况下不设置
            -p [timeout]      ，--persistent         持续连接
            -M netmask        ，--netmask            持久粒度掩码
            -r server-address ，--real-server        服务地址主机和端口，只有支持端口映射的LVS类型才允许此处使用和集群服务中不同的端口
            -g                ，--gatewaying         gatewaying (direct routing) (default)，dr模式
            -i                ，--ipip               ipip encapsulation (tunneling)，tun模式
            -m                ，--masquerading       masquerading (NAT)，nat模式
            -w weight         ，--weight             实际服务器容量，指定权重
            -x uthreshold     ，--u-threshold        连接的高等门限
            -y lthreshold     ，--l-threshold        连接的低等门限
            --mcast-interface interface             连接同步的多播接口
            --syncid sid                            syncid 同步连接(default=255)
            -c，--connection                         显示ipvs连接
            --timeout                               超时时间输出(tcp tcpfin udp)
            --daemon                                后台进程信息输出
            --stats                                 统计数据
            --rate                                  速率
            --exact                                 精确值
            --thresholds                            线程信息输出
            --persistent-conn                       当前连接信息输出
            --nosort                                禁用对服务器/服务的排序输出
            --sort                                  不做任何事情，因为后台兼容性
            -o       ，--ops                         单包调度
            -n       ，--numeric                     数字格式显示ip和port，注意-n只能写在-L之后。
            -b flags ，--sched-flags                 调度标志(comma-separated)
            
        3）核心功能：
            集群服务管理：增、删、改
            集群服务的RS管理：增、删、改
            查看
        
        4）管理集群服务：增、改、删
            增、改：
                ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
            删除：
                ipvsadm -D -t|u|f service-address
                service-address： 
                    -t|u|f： 
                        -t: TCP 协议的端口，VIP:TCP_PORT
                        -u: TCP 协议的端口，VIP:UDP_PORT
                        -f ：firewall MARK ，标记，一个数字
                [-s scheduler] ：指定集群的调度算法，默认为wl
        
        5）管理集群上的RS ：增、改、删
            增、改：
                ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
            删：
                ipvsadm -d -t|u|f service-address -r server-address
                server-address：
                    rip[:port] 如省略port ，不作端口映射
            选项：
                lvs类型：
                    -g: gateway, dr 类型，默认
                    -i: ipip, tun 类型
                    -m: masquerade, nat 类型
                    -w weight：指定权重
        6）清空定义的所有内容：ipvsadm –C
        
        7）清空计数器：ipvsadm -Z [-t|u|f service-address]
        
        8）查看：
            ipvsadm -L|l [options]
                --numeric, -n ：以数字形式输出地址和端口号
                --exact ：扩展信息，精确值
                --connection ，-c ：当前IPVS 连接输出
                --stats ：统计信息
                --rate  ：输出速率信息
        9）保存：
            建议保存至/etc/sysconfig/ipvsadm
            ipvsadm-save > /PATH/TO/IPVSADM_FILE
            ipvsadm -S > /PATH/TO/IPVSADM_FILE
            systemctl stop ipvsadm.service
        10）重载：
            ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
            ipvsadm -R < /PATH/FROM/IPVSADM_FILE
            systemctl restart ipvsadm.service

FireWall Mark：FWM

    1）MARK target 可用于给特定的报文打标记，在netfilter上给报文打标记，mangle表
        --set-mark value
        其中：value 为十六进制数字
    
    2）借助于防火墙标记来分类报文，而后基于标记定义集群服务。
        可将多个不同的应用使用同一个集群服务进行调度。
        也就是将http和https统一调度，可以实现无论你访问http和https都给你调度到后面的真实的服务器，不用每一个服务都单独的创建一个集群服务。
        打标记实现方法：
            在Director 主机打标记：
                iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER
            在Director 主机基于标记定义集群服务：
                ipvsadm -A -f NUMBER [options]++++
        定义集群服务：
            ipvsadm -A -f MARK -s rr -p
            ipvsadm  -a  -f   MARK  -r  ip  -g  -w 1
        查看
            ipvsadm -Ln 
            ipvsadm -Ln --rate
                Forward：转发方法
                Weight：权重
                ActiveConn：活动连接数
                InActiveConn：非活动连接数
                CPS:connections per seconds
                InnPPS：Input packets per seconds
                OutPPS：output packets per seconds
                InBPS：input bytes per seconds
                OutBPS：Output bytes per seconds
    3）作用：
        同一服务不同端口使用一个设置搞定
         
    4）具体实现
        在VS上进行如下设置
            iptables -t mangle -A PREROUTING -d 192.168.74.88 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 12  
                ##无论访问VIP的80还是443端口统一打标签为12
            iptables -t mangle -vnL 
            ipvsadm -A -f 12 -s wrr   -
                ##创建一个集群服务，只要标签是12的调度算法都是wrr
            ipvsadm -a -f 12 -r 192.168.74.129 -g -w 3  
                ##将RS添加到集群服务里
            ipvsadm -a -f 12 -r 192.168.74.133 -g
            ipvsadm -Ln
        在客户端进行测试
            curl 192.168.74.88
            curl -k https://192.168.74.88/  
                ##k表示忽略证书访问