LVS+heartbeat+ldriectord

标签：lvs   ldirectord   

LVS

LVS+Keepalived+heartbeat

Lvs:Linux Virtual Server Linux 虚拟服务器，是一个虚拟的服务器集群系统

主要有四种负载均衡技术（VS/NAT,VS/TUN,VS/DR,VS/fullNAT）十余种调度算法：（rr,wrr,lc,wlc,lblcr,dh,sh,sed,nq）

Keepalvied主要作用时Realserver的健康状态检查及LoadBalance主机和Backfail的实现。

LVS可分为三部分：

1.Load Balancer：这是LVS的核心部分，它好比我们网站MVC模型的Controller。它负责将客户的请求按照一定的算法分发到下一层不同的服务器进行处理，自己本身不做具体业务的处理。另外该层还可用监控下一层的状态，如果下一层的某台服务器不能正常工作了，它会自动把其剔除，恢复后又可用加上。该层由一台或者几台Director Server组成。

2.Server Array：该层负责具体业务。可有WEB Server、mail Server、FTP Server、DNS Server等组成。注意，其实上层的Director Server也可以当Real server用的。

3.Shared Storage：主要是提高上一层数据和为上一层保持数据一致

负载均衡机制
前面我们说了LVS是工作在网络层。相对于其它负载均衡的解决办法，比如DNS域名轮流解析、应用层负载的调度、客户端的调度等，它的效率是非常高的。LVS的通过控制IP来实现负载均衡。IPVS是其具体的实现模块。IPVS的主要作用：安装在Director Server上面，在Director Server虚拟一个对外访问的IP（VIP）。用户访问VIP，到达Director Server，Director Server根据一定的规则选择一个Real Server，处理完成后然后返回给客户端数据。这些步骤产生了一些具体的问题，比如如何选择具体的Real Server，Real Server如果返回给客户端数据等等。IPVS为此有三种机制：

1.VS/NAT(Virtual Server via Network Address Translation)，即网络地址翻转技术实现虚拟服务器。当请求来到时，Diretor server上处理的程序将数据报文中的目标地址（即虚拟IP地址）改成具体的某台Real Server,端口也改成Real Server的端口，然后把报文发给Real Server。Real Server处理完数据后，需要返回给Diretor Server，然后Diretor server将数据包中的源地址和源端口改成VIP的地址和端口，最后把数据发送出去。由此可以看出，用户的请求和返回都要经过Diretor Server，如果数据过多，Diretor Server肯定会不堪重负。

2.VS/TUN（Virtual Server via IP Tunneling）,即IP隧道技术实现虚拟服务器。它跟VS/NAT基本一样，但是Real server是直接返回数据给客户端，不需要经过Diretor server,这大大降低了Diretor server的压力。

3.VS/DR（Virtual Server via Direct Routing），即用直接路由技术实现虚拟服务器。跟前面两种方式，它的报文转发方法有所不同，VS/DR通过改写请求报文的MAC地址，将请求发送到Real Server，而Real Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的，但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上

ARP协议：

ARP：Address Resolution Protocol是根据IP地址获取物理地址的一个TCP？IP协议，主机反送消息时将包含目标IP的ARP请求广播到网络上的所有主机，并接受返回消息，一次确定目标的物理地址，受到返回消息后将该IP地址和物理地址存入本机ARP缓存中并保存一定时间，下次请求时直接查询ARP缓存以节约资源。

由于lvs是linux2.6以后内核自带的，所以可以直接使用

Ipvsadm在rhel中含有，只要安装ipvsadm，ipvsadm在rhel的隐藏模块中，所以应该先配好yum源，有关配置请查看上一片“redhat_HA”

Serve1作为Scheduler

Server3和Server4作为RealServer

在Server3和Server4上安装httpd服务器，作为测试项

写入主页：

并加入红色

[root@server3 ~]# cat /var/www/html/index.html 

<h1><font color=#FF0000>server3.example.com</font></h1>

为Scheduler和RealServer添加VIrt Ip（VIP）

[root@server1 ~]# ip addr add 172.25.33.100/24 dev eth0

[root@server4/3 ~]#  ip addr add 172.25.33.100/32 dev eth0

添加策略：

[root@server1 ~]# ipvsadm -A -t 172.25.33.100:80 -s rr

[root@server1 ~]# ipvsadm -a -t 172.25.33.100:80 -r 172.25.33.3

[root@server1 ~]# ipvsadm -a -t 172.25.33.100:80 -r 172.25.33.4

[root@server1 ~]# service ipvsadm save

 ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:      [  OK  ]

-A, --add-service

              Add a virtual service.

 -a, --add-server

              Add a real server to a virtual service.

-t, --tcp-service service-address

              Use TCP service. 

-s, --scheduler scheduling-method

              scheduling-method  

rr 调度算法：轮询

-r, --real-server server-address

              Real server that  an  associated  request  for  service  may  be

              assigned  to.

设置其在第三和第五等级开机启动。

[root@server1 ~]# chkconfig --level 35 ipvsadm  on

[root@server1 ~]# chkconfig --list |grep ipvsadm

ipvsadm        0:off1:off2:off3:on4:off5:on6:off

此时的lvs已经可以开始访问了，但是由于realserver的vip也是100，很容易造成arp表中的映射关系错误，从而产生只能访问一个realserver的错误。

如果想要客户端访问调度器而不能访问realserver，那么需要让realserver忽略每个虚拟IP的ARP请求，执行以下指令

[root@server4/3 ~]# yum install arptables_jf -y 

[root@server4 ~]# arptables -A IN -d 172.25.33.100 -j DROP

[root@server4 ~]# arptables -A OUT -s 172.25.33.100 -j mangle --mangle-ip-s 172.25.33.4

此时，realserver仅响应调度器的请求。

保存策略

[root@server4 ~]# service arptables_jf save

Saving current rules to /etc/sysconfig/arptables:          [  OK  ]

使用arp -an IP 查看当前请求iP和MAC的绑定关系，如果不会自动轮询，那么查看各主机的mac，看是否在某个主机上。

[kiosk@foundation33 Desktop]$ arp -an 172.25.33.100

? (172.25.33.100) at 52:54:00:ec:e5:a9 [ether] on br0

使用arp -d 172.25.33.100删除IP——MAC映射表。

与heartbeat的结合：

使用ipvsadm -C清空策略：

[root@server1 ha.d]# cat haresources |tail -n 1

server1.example.comIPaddr::172.25.33.100/24/eth0 ipvsadm httpd

但是由于heartbeat和lvs本身都没有对服务是否运行的监控能力，所以需要使用ldirectord来帮助heartbeat和lvs进行监控管理，ldirectord要预先安装。

ldirectord - Linux Director Daemon

       Daemon to monitor remote services and control Linux Virtual Server

[root@server1 ha.d]# cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf .

[root@server1 ha.d]# vim ldirectord.cf 

[root@server1 ha.d]# scp ldirectord.cf 172.25.33.2:/etc/ha.d/

[root@server1 ha.d]# vim ldirectord.cf

virtual=172.25.33.100:80

        real=172.25.33.3:80 gate

        real=172.25.33.4:80 gate

        fallback=127.0.0.1:80 gate

        service=http

        scheduler=rr

        #persistent=600

        #netmask=255.255.255.255

启动heartbeat,配好参数//此处未知参见hearbeat_HA.

在heartbeat资源策略haresources中，添加资源httpd ldirectord ipvsadm 即可让heartbeat实现ipvsadm的双机热备

测试：

停掉server3的http服务，会发现调度器不会往server3上调度，开启server3，ipvsadm -l 发现，调度内容重新出现，server1的heartbeat服务停止，server2的heartbeat会继续接管。

与keepalived结合：

编译安装keepalived：

tar -xf keepalived-1.2.20.tar.gz

 ./configure --prefix=/usr/local/keepalived

yum install -y libnl-devel

./configure --prefix=/usr/local/keepalived

yum install -y libnl-devel

./configure --prefix=/usr/local/keepalived

yum install libnfnetlink-devel-1.0.0-1.el6.x86_64.rpm

./configure --prefix=/usr/local/keepalive

make&& make install

编译安装完成后，需要将/usr/local/keepalived下的配置文件，执行脚本（+x）

执行脚本

[root@server1 init.d]# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived  /etc/init.d/

配置文件：

[root@server1 init.d]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

[root@server1 init.d]# ln -s /usr/local/keepalived/etc/keepalived/ /etc/

启动脚本：

[root@server1 init.d]# ln -s /usr/local/keepalived/sbin/keepalived /sbin/

[root@server1 init.d]# chmod +x /etc/init.d/keepalived

global_defs {

   notification_email {

        root@localhost//收到警报的email地址

   }

   notification_email_from keepalived@server1.example.com

   smtp_server 127.0.0.1//使用本机转发email

   smtp_connect_timeout 30

   router_id LVS_DEVEL//load balancer 的表示地址ID，用于email警报

   vrrp_skip_check_adv_addr

   vrrp_strict

}

vrrp_instance VI_1 {

    state MASTER备机改为backup,此状态是由priority的值来确定的，如果主机的priority的值小于备机，那么将会失去master的状态。

    interface eth0

    virtual_router_id 51

    priority 100备机设为50

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

 }

    virtual_ipaddress {

        172.25.33.100

    }

}

virtual_server 172.25.33.100 80{

    delay_loop 6

    lb_algo rr

    lb_kind DR

    #persistence_timeout 50

    protocol TCP

    real_server 172.25.33.3 80{

        weight 1

        TCP_Check{

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

   real_server 172.25.33.4 80{

        weight 1

TCP_Check{

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }

}

添加服务vsftpd为长连接，因为vsftpd是上传下载，所以要保持长连接，在操作时不断开。

persistence_timeout 50

重起keepalived

[root@server1 ha.d]# ipvsadm -l

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  172.25.33.100:http rr

  -> server3.example.com:http     Route   1      0          0         

TCP  172.25.33.200:http rr persistent 50

  -> server3.example.com:ftp      Route   1      0          0       

LVS+heartbeat+ldriectord

标签：lvs   ldirectord   

原文地址：http://12237658.blog.51cto.com/12227658/1900378