集群基础之LVS的基础概念

标签：linux   lvs   

一、集群简介

什么是集群

计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。

集群就是一组独立的计算机，通过网络连接组合成一个组合来共同完一个任务

LVS在企业架构中的位置：

以上的架构只是众多企业里面的一种而已。绿色的线就是用户访问请求的数据流向。用户-->LVS负载均衡服务器--->apahce服务器--->MySQL服务器&memcache服务器&共享存储服务器。并且我们的mysql、共享存储也能够使用LVS再进行负载均衡。

---------------小结-------------------------

集群：就是一组相互独立的计算机，通过高速的网络组成一个计算机系统，每个集群节点都是运行其自己进程的一个独立服务器。对网络用户来讲，网站后端就是一个单一的系统，协同起来向用户提供系统资源，系统服务。

-------------------------------------------

为什么要使用集群

集群的特点

1）高性能performance。一些需要很强的运算处理能力比如天气预报，核试验等。这就不是几台计算机能够搞定的。这需要上千台一起来完成这个工作的。

2）价格有效性

通常一套系统集群架构，只需要几台或数十台服务器主机即可，与动则上百王的专用超级计算机具有更高的性价比。

3）可伸缩性

当服务器负载压力增长的时候，系统能够扩展来满足需求，且不降低服务质量。

4）高可用性

尽管部分硬件和软件发生故障，整个系统的服务必须是7*24小时运行的。

集群的优势

1）透明性

如果一部分服务器宕机了业务不受影响，一般耦合度没有那么高，依赖关系没有那么高。比如NFS服务器宕机了其他就挂载不了了，这样依赖性太强。

2）高性能

访问量增加，能够轻松扩展。

3）可管理性

整个系统可能在物理上很大，但很容易管理。

4）可编程性

在集群系统上，容易开发应用程序，门户网站会要求这个。

集群分类及不同分类的特点

计算机集群架构按照功能和结构一般分成以下几类：

1）负载均衡集群（Loadbalancingclusters）简称LBC

2）高可用性集群（High-availabilityclusters）简称HAC

3）高性能计算集群（High-perfomanceclusters）简称HPC

4）网格计算（Gridcomputing）

网络上面一般认为是有三个，负载均衡和高可用集群式我们互联网行业常用的集群架构。

（1）负载均衡集群

负载均衡集群为企业提供了更为实用，性价比更高的系统架构解决方案。负载均衡集群把很多客户集中访问的请求负载压力可能尽可能平均的分摊到计算机集群中处理。客户请求负载通常包括应用程度处理负载和网络流量负载。这样的系统非常适合向使用同一组应用程序为大量用户提供服务。每个节点都可以承担一定的访问请求负载压力，并且可以实现访问请求在各节点之间动态分配，以实现负载均衡。

负载均衡运行时，一般通过一个或多个前端负载均衡器将客户访问请求分发到后端一组服务器上，从而达到整个系统的高性能和高可用性。这样计算机集群有时也被称为服务器群。一般高可用性集群和负载均衡集群会使用类似的技术，或同时具有高可用性与负载均衡的特点。

负载均衡集群的作用

1）分担访问流量（负载均衡）

2）保持业务的连续性（高可用）

（2）高可用性集群

一般是指当集群中的任意一个节点失效的情况下，节点上的所有任务自动转移到其他正常的节点上，并且此过程不影响整个集群的运行，不影响业务的提供。

类似是集群中运行着两个或两个以上的一样的节点，当某个主节点出现故障的时候，那么其他作为从 节点的节点就会接替主节点上面的任务。从节点可以接管主节点的资源（IP地址，架构身份等），此时用户不会发现提供服务的对象从主节点转移到从节点。

对于一个高可用集群来说，一般衡量的是

    网站可用性

    所谓网站可用性(availability)也即网站正常运行时间的百分比，业界用 N 个9 来量化可用性， 最常说的就是类似 “4个9(也就是99.99%)” 的可用性。

高可用性集群的作用：当一个机器宕机另一台进行接管。比较常用的高可用集群开源软件有：keepalive，heardbeat。

（3）高性能计算集群

高性能计算集群采用将计算任务分配到集群的不同计算节点儿提高计算能力，因而主要应用在科学计算领域。比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算。这一集群配置通常被称为Beowulf集群。这类集群通常运行特定的程序以发挥HPCcluster的并行能力。这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI库。

HPC集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业，比如一个节点的中间结果或影响到其它节点计算结果的情况。

常用集群软硬件

常用开源集群软件有：lvs，keepalived，haproxy，nginx，apache，heartbeat

常用商业集群硬件有：F5,Netscaler，Radware，A10等

二、LVS负载均衡集群介绍

负载均衡集群的作用：提供一种廉价、有效、透明的方法，来扩展网络设备和服务器的负载带宽、增加吞吐量，加强网络数据处理能力、提高网络的灵活性和可用性。

1）把单台计算机无法承受的大规模的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间，提升用户体验。

2）单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高。

3）7*24小时的服务保证，任意一个或多个设备节点设备宕机，不能影响到业务。在负载均衡集群中，所有计算机节点都应该提供相同的服务，集群负载均衡获取所有对该服务的如站请求。

LVS介绍

LVS是linux virtual server的简写linux虚拟服务器，是一个虚拟的服务器集群系统，可以再unix/linux平台下实现负载均衡集群功能。该项目在1998年5月由章文嵩博士组织成立。

以下是LVS官网提供的4篇文章：（非常详细，我觉得有兴趣还是看官方文档比较正宗吧！！）

http://www.linuxvirtualserver.org/zh/lvs1.html

http://www.linuxvirtualserver.org/zh/lvs2.html

http://www.linuxvirtualserver.org/zh/lvs3.html

http://www.linuxvirtualserver.org/zh/lvs4.html

从2.4.24以后IPVS已经成为linux官方标准内核的一部分

 lpvs是工作在内核的netfilter的INPUT钩子函数上，并根据数据包是否是定义的的lvs服务，如果是这强行改变其流动方向，不经过forward链而送往后端的Postrouting，也正因为此，我们不建议在调度器上配置iptables规则。

IPVS其工作在内核，我们不能够直接操作ipvs，而需要使用ipvs的管理工具ipvsadm或者keepalive进行管理，因此，被称之为linux虚拟服务器。

六、ipvsadm常用命令

ipvsadm:

      1、管理集群服务

           添加：-A -t|u|f service-address [-sscheduler]

                      -t：tcp协议的集群服务

                      -u：udp协议的集群

                      -f:FWM:防火墙标记

           修改：-E

           删除：-D

                      -D -t|u|f service-address    

                   例如：# ipvsadm -A -t 172.16.100.1:80 -s rr

      2、管理集群服务中的RS

           添加：-a -t|u|f service-address -rserver-address [-g|i|m] [-w weight]

                      -t|u|f service-address:事先定义好的某集群服务

                      -r server-address:某RS的地址，在NAT模型中，可以使用IP：PORT事先端口映射

                      [-g|i|m]:LVS类型

                           -g:DR

                           -I:TUN

                           -m:NAT

                      [-w weight]:定义服务器权重

       3、修改：-e

       4、删除：-d -t|u|f service-address -r server-address

                   例如：#ipvsadm -a -t 172.16.100.1:80 -r192.168.10.8 -m

                   例如：#ipvsadm-a -t 172.16.100.1:80 -r 192.168.10.9 -m

       5、查看

                    -L|l[options]

                           -n:数字格式显示主机地址和端口号

                           --stats:统计信息

                           --rate:速率

                           --timeout：显示tcp、tcpfin和udp会话的超时时间值

                           --daemon

                           --sort：跟协议、地址、端口进行排序，默认为升序

                           -c：显示当前ipvs连接状况

       6、删除所有集群服务：

                    -C：清空ipvs规则

       7、保存规则

                    -S：（用输出重定向进行保存）

                    格式：#ipvsadm -s >/path/to/somefile

       8、载入此前的规则：

                    -R

                     格式：#ipvsadm -R </path/to/somefile

    9.  ipvsadm -L -c 显示所有的持久连接模板

         ipvsadm -L --persistent-conn 显示持久连接的状态

LVS体系结构与工作原理简单描述

LVS集群负载均衡器接受服务的所有入展客户端的请求，然后根据调度算法决定哪个集群节点来处理回复客户端的请求。

LVS虚拟服务器的体系如下图所示，一组服务器通过高速的局域网或者地理分布的广域网相互连接，在这组服务器之前有一个负载调度器（load balance）。负载调度器负责将客户的请求调度到真实服务器上。这样这组服务器集群的结构对用户来说就是透明的。客户访问集群系统就如只是访问一台高性能，高可用的服务器一样。客户程序不受服务器集群的影响，不做任何修改。

就比如说：我们去饭店吃饭点菜，客户只要跟服务员点菜就行。并不需要知道具体他们是怎么分配工作的，所以他们内部对于我们来说是透明的。此时这个服务员就会按照一定的规则把他手上的活，分配到其他人员上去。这个服务员就是负载均衡器（LB）而后面这些真正做事的就是服务器集群。

底下是官网提供的结构图：

客户请发送向负载均衡服务器发送请求。负载均衡器接受客户的请求，然后先是根据LVS的调度算法（10种）来决定要将这个请求发送给哪个节点服务器。然后依据自己的工作模式（3种）来看应该如何把这些客户的请求如何发送给节点服务器，节点服务器又应该如何来把响应数据包发回给客户端。

负载均衡集群的设计要点：

(1) 是否需要会话保持；

(2) 是否需要共享存储；

共享存储：NAS， SAN， DS（分布式存储）

数据同步：

LVS的三种工作模式：

1）VS/NAT模式（Network address translation）

2）VS/TUN模式（tunneling）

3）DR模式（Direct routing）

 4）

1、NAT模式-网络地址转换

Virtualserver via Network address translation(VS/NAT)

这个是通过网络地址转换的方法来实现调度的。首先调度器(LB)接收到客户的请求数据包时（请求的目的IP为VIP），根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）,这样真实服务器（RS）就能够接收到客户的请求数据包了。真实服务器响应完请求后，查看默认路由（NAT模式下我们需要把RS的默认路由设置为LB服务器。）把响应后的数据包发送给LB,LB再接收到响应包后，把包的源地址改成虚拟地址（VIP）然后发送回给客户端。

调度过程IP包详细图：

原理图简述：

1)客户端请求数据，目标IP为VIP

2)请求数据到达LB服务器，LB根据调度算法将目的地址修改为RIP地址及对应端口（此RIP地址是根据调度算法得出的。）并在连接HASH表中记录下这个连接。

3)数据包从LB服务器到达RS服务器webserver，然后webserver进行响应。Webserver的网关必须是LB，然后将数据返回给LB服务器。

4)收到RS的返回后的数据，根据连接HASH表修改源地址VIP&目标地址CIP，及对应端口80.然后数据就从LB出发到达客户端。

5)客户端收到的就只能看到VIP\DIP信息。

NAT模式优缺点：

1、NAT技术将请求的报文和响应的报文都需要通过LB进行地址改写，因此网站访问量比较大的时候LB负载均衡调度器有比较大的瓶颈，一般要求最多只能10-20台节点

2、只需要在LB上配置一个公网IP地址就可以了。

3、每台内部的节点服务器的网关地址必须是调度器LB的内网地址。

4、NAT模式支持对IP地址和端口进行转换。即用户请求的端口和真实服务器的端口可以不一致。

5、支持端口映射，可修改请求报文的目标PORT；

6、vs必须是Linux系统，rs可以是任意系统；

2、DR模式（直接路由模式）

Virtual server via direct routing (vs/dr):采用NAT模式时，由于请求和响应的报文必须通过调度器地址重写，当客户请求越来越多时，调度器处理能力将成为瓶颈。为了解决这个问题，调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回给客户端。这样调度器就只处理请求入站报文，由于一般网络服务应答数据比请求报文大很多，采用VS/TUN模式后，集群系统的最大吞吐量可以提高10倍。

  DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道的开销，对集群中的真实服务器也没有必要必须支持IP隧道协议的要求。但是要求调度器LB与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。

DR模式是互联网使用比较多的一种模式。

DR模式原理图：

Linux的一些特性：

• linux为了更加灵活的使用IP，因此IP地址是属于内核的，而不是只属于某块网卡

• 报文从那个网卡口进去的，也将从那个网卡口出来，并且本机报文的IP决定于最开始进过那个网卡，在DR模型中Real Server的报文是Director发给自己的eth0网卡，那么一会响应时，报文也一定最终会从eht0离开本机。而我们定义了规则route add -host $vip dev  lo:0，对于vip的报文一定从lo:0网卡出去，所以报文的源IP为lo:0上的VIP。

• 当Dip发送来的报文到达Real Server后，只要本机上有的IP，就会响应，这里已经到达主机上了，而不是arp的级别设定了

• 当报文生成后，会去找目标IP，而不用管自己所在的网络，比如自己是局域网，但是源IP和目标IP都是外网地址，那么这个报文也可以去找目标IP的。

DR模式原理过程简述：

         调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回给客户端。这样调度器就只处理请求入站报文。在Director上有VIP，在real server上同样配置VIP。但是这样肯定会造成地址冲突。

不错，但是在内核2.6引用了两个参数，一个是arp_ignore,另外一个是arp_announce。这两个参数都有不同的级别。

arp_announce: 报文的通报级别设置

0 - (default) Use any local address, configured on any interface.

1 - Try to avoid local addresses that are not in the target‘s subnet for this interface. 

2 - Always use the best local address for this target.

arp_ignore :报文的响应级别设置，有0-8，这里我们只列出自己需要的。

        0 - (default): reply for any local target IP address, configured on any interface.

1 - reply only if the target IP address is local address configured on the incoming interface.

我们将全部网卡的arp_announce=2,arp_ignore=1。 这样我们就可以将VIP隐藏在lo网卡上，当在交换机中收到对VIP的广播时，Real server 并不会响应，也不会自己主动通报自己本机上的所有IP给所有对应网段。而当Director响应并接受，经过lvs的规则判断后，将定义为集群服务的相关包通过DIP发个经由调度算法挑选出来的Real server时，Real server处理请求后会经由lo接口发出报文，并经过报文最初进来的那个网卡送出，最终到达客户端。

   需要注意的是上面的报文在流动过程中的源IP和目标IP的变化。

DR模式小结：

1、通过在调度器LB上修改数据包的目的MAC地址实现转发。注意源地址仍然是CIP，目的地址仍然是VIP地址。

2、请求的报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此并发访问量大时使用效率很高（和NAT模式比）

3、因为DR模式是通过MAC地址改写机制实现转发，因此所有RS节点和调度器LB只能在一个局域网里面

4、在RS上修改内核参数以限制arp通告及应答级别，RS主机需要绑定VIP地址在LO接口上  

5、 RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；

6、由于DR模式的调度器仅做MAC地址的改写，所以调度器LB就不能改写目标端口，那么RS服务器就得使用和VIP相同的端口提供服务。也就是不支持端口映射；

3、TUN模式

virtual server via ip tunneling模式

VS/TUN的工作流程图如下所示，它和NAT模式不同的是，它在LB和RS之间的传输不用改写IP地址。而是把客户请求包封装在一个IP tunnel里面，然后发送给RS节点服务器，节点服务器接收到之后解开IP tunnel后，进行响应处理。并且直接把包通过自己的外网地址发送给客户不用经过LB服务器。

Tunnel原理流程图:

原理图过程简述：

1）客户请求数据包，目标地址VIP发送到LB上，请求报文要经由Director，但响应不能经由Director。

2）LB接收到客户请求包，进行IP Tunnel封装。即在原有的包头加上IP Tunnel的包头。然后发送出去。

3）RS节点服务器根据IP Tunnel包头信息（此时就又一种逻辑上的隐形隧道，只有LB和RS之间懂）收到请求包，然后解开IP Tunnel包头信息，得到客户的请求包并进行响应处理，

4）响应处理完毕之后，RS服务器使用自己的出公网的线路，将这个响应数据包发送给客户端。RS的网关不能，也不可能指向DIP，源IP地址还是VIP地址。（RS节点服务器需要在本地回环接口配置VIP，和DR模式配置一样。）

5) DIP, VIP, RIP都应该是公网地址；

6) 不支持端口映射；

        7) RS的OS得支持隧道功能；

4、LVS-FULLNAT 

    通过修改请求报文的目标IP地址和源IP地址完成调度并转发；请求和响应报文都经由Director；

官方三种负载均衡技术比较总结表：

LVS调度算法

最好参考此文章：http://www.linuxvirtualserver.org/zh/lvs4.html

LVS十种调度算法

1、静态调度：

      ①rr（Round Robin）:轮询调度，轮叫调度

      轮询调度算法的原理是每一次把来自用户的请求轮流分配给内部中的服务器，从1开始，直到N(内部服务器个数)，然后重新开始循环。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。【提示：这里是不考虑每台服务器的处理能力】

     ②wrr：weight,加权（以权重之间的比例实现在各主机之间进行调度）

     由于每台服务器的配置、安装的业务应用等不同，其处理能力会不一样。所以，我们根据服务器的不同处理能力，给每个服务器分配不同的权值，使其能够接受相应权值数的服务请求。

③sh:source hashing,源地址散列。主要实现会话绑定，能够将此前建立的session信息保留了

源地址散列调度算法正好与目标地址散列调度算法相反，它根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的并且没有超负荷，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法的相同。它的算法流程与目标地址散列调度算法的基本相似，除了将请求的目标IP地址换成请求的源IP地址，所以这里不一个一个叙述。

④Dh:Destination hashing:目标地址散列。把同一个IP地址的请求，发送给同一个server。

目标地址散列调度算法也是针对目标IP地址的负载均衡，它是一种静态映射算法，通过一个散列（Hash）函数将一个目标IP地址映射到一台服务器。目标地址散列调度算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

2、动态调度

①lc（Least-Connection）：最少连接

最少连接调度算法是把新的连接请求分配到当前连接数最小的服务器，最小连接调度是一种动态调度短算法，它通过服务器当前所活跃的连接数来估计服务器的负载均衡，调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1，当连接中止或超时，其连接数减一，在系统实现时，我们也引入当服务器的权值为0时，表示该服务器不可用而不被调度。

简单算法：active*256+inactive(谁的小，挑谁)

②wlc(Weighted Least-Connection Scheduling)：加权最少连接。

加权最小连接调度算法是最小连接调度的超集，各个服务器用相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权限，加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。

简单算法：（active*256+inactive）/weight【（活动的连接数+1）/除以权重】（谁的小，挑谁）

③sed(Shortest Expected Delay)：最短期望延迟

基于wlc算法

简单算法：（active+1)*256/weight 【（活动的连接数+1）*256/除以权重】

④nq（never queue）:永不排队（改进的sed）

无需队列，如果有台realserver的连接数＝0就直接分配过去，不需要在进行sed运算。

⑤LBLC（Locality-Based Least Connection）：基于局部性的最少连接

基于局部性的最少连接算法是针对请求报文的目标IP地址的负载均衡调度，不签主要用于Cache集群系统，因为Cache集群中客户请求报文的布标IP地址是变化的，这里假设任何后端服务器都可以处理任何请求，算法的设计目标在服务器的负载基本平衡的情况下，将相同的目标IP地址的请求调度到同一个台服务器，来提高个太服务器的访问局部性和主存Cache命中率，从而调整整个集群系统的处理能力。

基于局部性的最少连接调度算法根据请求的目标IP地址找出该目标IP地址最近使用的RealServer，若该Real Server是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少链接”的原则选出一个可用的服务器，将请求发送到该服务器。

⑥LBLCR（Locality-Based Least Connections withReplication）：带复制的基于局部性最少链接

      带复制的基于局部性最少链接调度算法也是针对目标IP地址的负载均衡，该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度

LVS调度算法的生产环境选型：

1、一般的网络服务，如http，mail，mysql等常用的LVS调度算法为：

a.基本轮询调度rr

b.加权最小连接调度wlc

c.加权轮询调度wrc

2、基于局部性的最小连接lblc和带复制的给予局部性最小连接lblcr主要适用于web cache和DB cache

3、源地址散列调度SH和目标地址散列调度DH可以结合使用在防火墙集群中，可以保证整个系统的出入口唯一。

实际适用中这些算法的适用范围很多，工作中最好参考内核中的连接调度算法的实现原理，然后根据具体的业务需求合理的选型。

LVS的持久连接：

     ppc:将来自于同一个客户端对同一个集群服务的请求，始终定向至此前选定的RS；   持久端口连接

         #ipvsadm -A -t 10.1.252.228:80 -s rr -p 300 ；ppc其实就是加了-p 选项，后面可以指定时间

      pcc：将来自于同一客户端对所有端口的请求，始终定向至此前选定的RS；          持久客户端连接

       #ipvsadm -A -t 10.1.252.228:0 -s rr ;这里等于将所有的服务都定义为了集群，可以和持久连接结合起来

      pnmpp：持久防火墙标记连接，标记是0-99之间的整数。

        借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度；

   定义方法：

 打标记方法（在Director主机）：

# iptables -t mangle -A PREROUTING -d $vip -p $proto --dport $port -j MARK --set-mark NUMBER 

 基于标记定义集群服务：

     # ipvsadm -A -f NUMBER [options]

本文出自 “mylinux” 博客，谢绝转载！

集群基础之LVS的基础概念

标签：linux   lvs   

原文地址：http://luxiangyu.blog.51cto.com/9976123/1866169