码迷,mamicode.com
首页 > 其他好文 > 详细

LVS + keepalived(DR) 实战

时间:2016-08-31 19:02:48      阅读:314      评论:0      收藏:0      [点我收藏+]

标签:

一、LVS体系结构

使用LVS架设的服务器集群系统有三个部分组成:最前端的负载均衡层,用Load Balancer表示,中间的服务器群组层,用Server Array表示,最底端的数据共享存储层,用Shared Storage表示,在用户看来,所有的内部应用都是透明的,用户只是在使用一个虚拟服务器提供的高性能服务。

LVS体系结构如图1所示:

                                                                               技术分享

二、LVS 3种负载均衡技术对比

 

负载均衡技术有很多实现方案,有基于DNS域名轮流解析的方法、有基于客户端调度访问的方法、有基于应用层系统负载的调度方法,还有基于IP地址的调度方法,在这些负载调度算法中,执行效率最高的是IP负载均衡技术。
LVS 的IP负载均衡技术是通过IPVS模块来实现的,IPVS是LVS集群系统的核心软件,它的主要作用是:安装在Director Server上,同时在Director Server上虚拟出一个IP地址,用户必须通过这个虚拟的IP地址访问服务。这个虚拟IP一般称为LVS的VIP,即Virtual IP。访问的请求首先经过VIP到达负载调度器,然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。
当用户的请求到达负载调度器后,调度器如何将请求发送到提供服务的Real Server节点,而Real Server节点如何返回数据给用户,是IPVS实现的重点技术。


VS/NAT: 即(Virtual Server via Network Address Translation)
也 就是网络地址翻译技术实现虚拟服务器,当用户请求到达调度器时,调度器将请求报文的目标地址(即虚拟IP地址)改写成选定的Real Server地址,同时报文的目标端口也改成选定的Real Server的相应端口,最后将报文请求发送到选定的Real Server。在服务器端得到数据后,Real Server返回数据给用户时,需要再次经过负载调度器将报文的源地址和源端口改成虚拟IP地址和相应端口,然后把数据发送给用户,完成整个负载调度过 程。
可以看出,在NAT方式下,用户请求和响应报文都必须经过Director Server地址重写,当用户请求越来越多时,调度器的处理能力将称为瓶颈。


VS/TUN :即(Virtual Server via IP Tunneling)
也 就是IP隧道技术实现虚拟服务器。它的连接调度和管理与VS/NAT方式一样,只是它的报文转发方法不同,VS/TUN方式中,调度器采用IP隧道技术将 用户请求转发到某个Real Server,而这个Real Server将直接响应用户的请求,不再经过前端调度器,此外,对Real Server的地域位置没有要求,可以和Director Server位于同一个网段,也可以是独立的一个网络。因此,在TUN方式中,调度器将只处理用户的报文请求,集群系统的吞吐量大大提高。
VS/DR: 即(Virtual Server via Direct Routing)
也 就是用直接路由技术实现虚拟服务器。它的连接调度和管理与VS/NAT和VS/TUN中的一样,但它的报文转发方法又有不同,VS/DR通过改写请求报文 的MAC地址,将请求发送到Real Server,而Real Server将响应直接返回给客户,免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的,但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上。

 

下面通过几个图示了解一下:

 

                                                                       技术分享

 

 

                                                                     技术分享

 

                                                                         技术分享

 

 

三、如何选择合适的负载模式根据自己的需要,下面讲解一下常用的DR负载的搭建

1、准备:

    二台DirectorServer 192.168.15.5(主) 192.168.15.6(备)   虚拟IP  192.168.15.100

    二台RealServer   192.168.15.8  192.168.15.9

2、DirectorServer LVS安装

现在LVS已经是 Linux标准内核的一部分,在Linux2.4内核以前,使用LVS时必须要重新编译内核以支持LVS功能模块,但是从Linux2.4内核以后,已经完全内置了LVS的各个功能模块,无需给内核打任何补丁,可以直接使用LVS提供的各种功能。

检查内核是否支持lvs的ipvs模块
[root@dev-test ~]# modprobe -l|grep ipvs
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko
kernel/net/netfilter/ipvs/ip_vs_ftp.ko
可以看到内核默认支持ipvs模块

3、DirectorServer keepAlived 安装

这里我使用的是自动安装的keepAlived,当然也可以找对应的版本下载后安装,这里我不做详细介绍,直接命令行:

root@test-api:/home/clonencheng# apt-get install keepalived
Reading package lists... Done
Building dependency tree       
Reading state information... Done
The following packages were automatically installed and are no longer required:
  linux-headers-3.13.0-52 linux-headers-3.13.0-52-generic
  linux-headers-3.13.0-83 linux-headers-3.13.0-83-generic
  linux-headers-3.13.0-85 linux-headers-3.13.0-85-generic
  linux-headers-3.13.0-87 linux-headers-3.13.0-87-generic
  linux-headers-3.13.0-88 linux-headers-3.13.0-88-generic
  linux-headers-3.13.0-91 linux-headers-3.13.0-91-generic
  linux-headers-3.13.0-92 linux-headers-3.13.0-92-generic
  linux-headers-3.13.0-93 linux-headers-3.13.0-93-generic
  linux-image-3.13.0-52-generic linux-image-3.13.0-83-generic
  linux-image-3.13.0-85-generic linux-image-3.13.0-87-generic
  linux-image-3.13.0-88-generic linux-image-3.13.0-91-generic
  linux-image-3.13.0-92-generic linux-image-3.13.0-93-generic
  linux-image-extra-3.13.0-52-generic linux-image-extra-3.13.0-83-generic
  linux-image-extra-3.13.0-85-generic linux-image-extra-3.13.0-87-generic
  linux-image-extra-3.13.0-88-generic linux-image-extra-3.13.0-91-generic
  linux-image-extra-3.13.0-92-generic linux-image-extra-3.13.0-93-generic
Use ‘apt-get autoremove‘ to remove them.
The following extra packages will be installed:
  iproute ipvsadm libperl5.18 libsensors4 libsnmp-base libsnmp30
Suggested packages:
  heartbeat ldirectord lm-sensors snmp-mibs-downloader
The following NEW packages will be installed:
  iproute ipvsadm keepalived libperl5.18 libsensors4 libsnmp-base libsnmp30
0 upgraded, 7 newly installed, 0 to remove and 181 not upgraded.
Need to get 1,223 kB of archives.
After this operation, 4,729 kB of additional disk space will be used.
Do you want to continue? [Y/n]

回车后自动安装完成。

4、配置keepalvied

自动安装的keepalvied配置文件位于:/etc/keepalived/keepalived.conf,下面分别贴出主备的配置,注意:主备virtual_router_id必须一致,且priority的值主>备。

master keepalived配置如下:

global_defs {
   notification_email {
     #coffee.lee@yhouse.com
   }
   notification_email_from ubuntu@192.168.15.5
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100                     # 100 on master, 90 on backup
    quiescent=no                    # 当realserver被移除时,丢弃跟踪记录和连接持续模板
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.15.100 dev eth0
    }

    virtual_server 192.168.15.100 8038 {  #注意IP地址与端口号之间用空格隔开
        delay_loop 2        #设置健康检查时间,单位是秒
        lb_algo rr          #设置负载调度算法,默认为rr,即轮询算法,最优秀是wlc算法
        lb_kind DR          #设置LVS实现LB机制,有NAT、TUNN和DR三个模式可选
        nat_mask 255.255.0.0
       # persistence_timeout 50  #会话保持时间,单位为秒
        protocol TCP        #指定转发协议类型,有TCP和UDP两种
        real_server 192.168.15.8 8038 {
            weight 1          #配置节点权值,数字越大权值越高
            TCP_CHECK {
                connect_timeout 5     #表示3秒无响应,则超时
                nb_get_retry 2        #表示重试次数
                delay_before_retry 2  #表示重试间隔
            }
        }
        real_server 192.168.15.9 8038 {  #配置服务器节点,即Real Server2的public IP
            weight 1            #配置节点权值,数字越大权值越高
            TCP_CHECK {
                connect_timeout 5       #表示3秒无响应,则超时
                nb_get_retry 2          #表示重试次数
                delay_before_retry 2    #表示重试间隔
            }
        }    
    }    

}


backup keepalived配置如下:


global_defs {
   notification_email {
     #coffee.lee@yhouse.com
   }
   notification_email_from ubuntu@192.168.15.5
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 90                     # 100 on master, 90 on backup
    quiescent=no                    # 当realserver被移除时,丢弃跟踪记录和连接持续模板
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.15.100 dev eth0 #dev.api.yhouse.com
    }

    virtual_server 192.168.15.100 8038 {  #注意IP地址与端口号之间用空格隔开
        delay_loop 2        #设置健康检查时间,单位是秒
        lb_algo rr          #设置负载调度算法,默认为rr,即轮询算法,最优秀是wlc算法
        lb_kind DR          #设置LVS实现LB机制,有NAT、TUNN和DR三个模式可选
        nat_mask 255.255.0.0
       # persistence_timeout 50  #会话保持时间,单位为秒
        protocol TCP        #指定转发协议类型,有TCP和UDP两种
        real_server 192.168.15.8 8038 {
            weight 1          #配置节点权值,数字越大权值越高
            TCP_CHECK {
                connect_timeout 5     #表示3秒无响应,则超时
                nb_get_retry 2        #表示重试次数
                delay_before_retry 2  #表示重试间隔
            }
        }
        real_server 192.168.15.9 8038 {  #配置服务器节点,即Real Server2的public IP
            weight 1            #配置节点权值,数字越大权值越高
            TCP_CHECK {
                connect_timeout 5       #表示3秒无响应,则超时
                nb_get_retry 2          #表示重试次数
                delay_before_retry 2    #表示重试间隔
            }
        }
    }

}

5、配置RealServer

二台RealServer服务器上,我们分别启动二个测试服务,这里我用的是tomcat,下面只包含一个index.jsp文件,为了区分请求转发到哪台服务器,内容做如下区分:

 技术分享             技术分享

在二台RealServer下分别执行以下脚本realserver.sh (为了使realsever能够接受来自虚拟服务器的请求):

#!/bin/bash
VIP=192.168.15.100
case "$1" in
start)
       ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Start OK"
       ;;
stop)
       ifconfig lo:0 down
       route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
       *)
       echo "Usage: $0 {start|stop}"
       exit 1
esac
exit 0

6、至此,LVS+keepalived(DR)已经基本搭建完,下面我们来测试下:

我们先输入地址刷新一下:

技术分享

再刷新一下,则变成了:
技术分享

说明我们搭建没有问题,请求能够自动在二台realserver之间切换,lvs有8种负载策略,这里我们用的是rr即轮询,所以看到了以上的结果,刷新一下换一下,其他策略这里不做详细介绍,有兴趣可以测试一下,比如加权轮询,最少连接等等。

上面的dev.corp.yhouse.com/dev,我使用的是nginx转发的,nginx配置如下:

server {
        charset utf-8;
        client_max_body_size 4M;
        listen 80;

        index index.html index.htm index.jsp;
        server_name dev.corp.yhouse.com;

        location / {
                deny  all;
        }

        location /dev/ {
                proxy_pass  http://192.168.15.100:8038/test/;
                proxy_set_header   Host             $host;
        }
}

从配置可以看出,从nginx访问直接转发至虚拟IP(LVS层),而不关心最终服务地址。

 

LVS + keepalived(DR) 实战

标签:

原文地址:http://www.cnblogs.com/clonen/p/5827024.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!