负载均衡Load Balance学习

1. 负载均衡简介
2. 负载均衡算法
3. Nginx负载均衡调度算法源码调研

1. Web网站
2. 大型的Internet Relay Chat网络
3. 高流量的文件下载网站
4. NNTP(Network News Transfer Protocol)服务
5. DNS服务
6. 海量SOCKET、HTTP长连接(常见于页游、MSN聊天软件、APP等场景中)
7. 数据库连接、查询服务(称之为数据库负载平衡器)

1. 面向应用层的负载均衡器
    1.1 WEB访问
        1) Apache模块mod_proxy(提供代理服务器功能)
        http://www.php100.com/manual/apache2/mod/mod_proxy.html
        此模块实现了Apache的代理/网关。它实现了以下规范的代理:
            1.1) AJP13(Apache JServe Protocol v1.3): mod_proxy_ajp
            1.2) FTP: mod_proxy_ftp
            1.3) CONNECT(用于SSL): mod_proxy_connect
            1.4) HTTP/0.9: mod_proxy_http
            1.5) HTTP/1.0: mod_proxy_http
            1.6) HTTP/1.1: mod_proxy_http
        此模块经配置后可用上述或其它协议连接其它代理模块
        2) Apache Web服务器的mod_proxy_balancer扩展(提供负载均衡功能)
        在使用基于Apache的负载均衡配置的时候，需要同时开启mod_proxy、mod_proxy_balancer、mod_proxy_xx这些模块
        
        3) 基于反向代理的Nginx负载均衡器
        http://blog.sina.com.cn/s/blog_9c3ba23d01010rof.html

        4) Varnish负载均衡
        http://network.51cto.com/art/201005/198191.htm

        5) Pound反向代理和负载均衡器

        6) 基于URL Rewrite的负载均衡器

    1.2 DNS查询
        1) 基于DNS轮询的负载均衡: 
        用于将CLINET的DNS解析请求按照一定的算法均衡地分配到一个IP集群中，针对WEB URL访问提供负载均衡，即将一个域名解析到多个IP地址，这种方法可能存在的问题是，轮叫DNS方法的调度粒度是基于每个域名服务器的，
域名服务器对域名解析的缓存会妨碍轮叫解析域名生效，这会导致服务器间负载的不平衡

2. 面向传输层的负载均衡器
    1) HAProxy
    HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机

3. 面向网络层的负载均衡器
    3.1 LVS(Linux Virtual Server)
        1) Virtual Server via Network Address Translation(VS/NAT)
        通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。

        2) Virtual Server via IP Tunneling(VS/TUN)
        采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给
客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用VS/TUN技术后，集群系统的最大吞吐量可以提高10倍

        3) Virtual Server via Direct Routing(VS/DR)
        VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地提高集群系统的伸缩性。这种方法没有IP隧道的开销，对集群中的真实服务器也
没有必须支持IP隧道协议的要求，但是要求调度器与真实服务器都有一块网卡连在同一物理网段上

3. 多层负载均衡: 高性能系统通常会使用 
对于一个多层次架构体系，在负载均衡器或网络分发器后面有两种设计，术语称之为Bowties和Stovepipes
    1) Stovepipe
    事务是从顶部分发的，然后从一个固定通道通过一系列硬件和软件设备，到达最终目的地
    2) Bowties
    在每一层中事务处理有多条路径可供选择
在事务处理的网络结构中可能会是Stovepipes，也可以是Bowties，或者根据每一层的实际需求采用杂货构架

4. 跨语言异构系统间通信负载均衡调度器
    1) Gearman
    使用Gearman将合适的计算任务分发给多台计算机，如此大量的任务就可以更快的完成了
    http://baike.baidu.com/view/2926980.htm?fr=aladdin
    http://blog.chinaunix.net/uid-20357359-id-1963682.html
    对于Gearman(齿轮工)的技术架构，我们需要重点理解几点
        1.1) Gearman是一种API级的跨系统通信方式，这种方式和REST、RPC相比提高了耦合度
        1.2) 从某种程度上说，Gearman和数据库技术中的存储过程的思想很类似，通过在预处理阶段实现后端的实现逻辑，并向前端暴露出API级的调用接口，这种方式提供了API的准确性、定制性、安全性
        1.3) client、job schedule server、worker之间的API通信是基于网络IO实现的

1. 不对称负载调节
可以对后台服务器设置权重因子，权重因子用于控制服务器的请求处理量，进而控制服务器的负载。当后台服务器的处理能力不是等同的时候，这是一种控制服务器负载的简单方法

2. 优先启动
当出现故障的服务器达到某个阀值，或者服务器负载过高时，备用服务器必需可以及时上线提供服务

3. SSL截断和加速(SSL卸载)
依赖服务器负载，处理加密数据或者通过SSL进行的授权请求会消耗Web服务器的大量CPU，随着需求增加用户会明显感觉到响应时间变长。为了消除Web服务器上这部分(处理加密)负载，负载均衡器可能会将SSL通讯截断在负载均衡器上。
有些硬件负载均衡器上包含有专门用于处理SSL的硬件。当负载均衡器截断SSL连接请求，再将用户请求转发给后台前将HTTPS变为HTTP。只要负载均衡器不超载，这个特性不会影响用户体验。
这种方法的负面效应是，由于所有SSL都由负载均衡器一台设备来处理，它会导致负载均衡器成为负载均衡体系的一个瓶颈。如果不使用这个特性，SSL请求将会分发给各个Web服务器处理。是否采用这一特性，需要分析比较两者的资金投
入情况，含有处理SSL特殊硬件的负载均衡器通常价格高昂，而Web服务器一般比较廉价。增加少量的Web服务器的花费可能明显比升级负载均衡器要少。另外，一些服务器厂商如Oracle/Sun也开始在它们的CPU中加入加密加速模块，
例如T2000。在负载均衡器上截断SSL的另一个优点是允许负载均衡器可以对基于HTTPS请求数据进行负载均衡或内容交换

4. DDOS攻击防护
负载均衡器可以提供例如SYN cookies特性和延时绑定(在TCP握手完成之前，后台服务器不会与用户通讯)来减缓SYN flook攻击，and generally offload work from the servers to a more efficient platform

5. HTTP压缩
使用gzip压缩HTTP数据，以减少网络上的数据传输量。对于响应时间较长，传输距离较远的用户，这一特性对于缩短响应时间效果明显。这个特性会要求更多一些的负载均衡器CPU，这一功能也可以由Web服务器来完成

6. TCP offload
其主要思想是一样的，通常每个用户的每个请求都会使用一个不同的TCP连接，这个特性利用HTTP/1.1将来自多个用户的多个请求合并为单个TCP socket再转发给后台服务器，即我们常说的TCP缓存组包技术

7. TCP缓冲
负载均衡器可以暂存后台服务器对客户的响应数据，再将它们转发给那些响应时间较长网速较慢的客户，如此后台Web服务器就可以释放相应的线程去处理其它任务如直接整个响应数据直接发送给网速较快的用户，这可以从一定程度上解
决"HTTP SLOW ATTACK"慢速攻击

8. 后台服务器直接响应用户(Direct Server Return)
这是不对称负载分布的一项功能，在不对称负载分布中请求和回应通过不同的网络路径

9. 服务器健康检查
负载均衡器可以检查后台服务器应用层的健康状况并从服务器池中移除那些出现故障的服务器

10. HTTP缓存
负载均衡器可以存储"静态内容"(相比于静态内容，动态脚本的执行的缓存需要慎重考虑)，当用户请求它们时可以直接响应用户而不必再向后台服务器请求

11. 内容过滤
负载均衡器可以按要求修改通过它的数据

12. HTTP安全
负载均衡器可以隐藏HTTP出错页面，删除HTTP响应头中的服务器标示信息，加密cookies以防止用户修改

13. 优先队列
也可称之为流量控制。它可以对不同的内容设定不同的优先级

14. Content-aware switching(内容感知开关)
负载均衡器可以基于用户请求的URL发送请求到不同的后台服务器，无论内容是加密(HTTPS)还是没有加密(HTTP)

15. 用户授权
对来自不同身份验证源的用户进行验证，然后再允许他们访问一个网站

16. 可编程的流量控制
负载均衡器允许使用脚本编程来定制负载均衡方法，任意的流量控制以及其它功能

17. 防火墙功能
由于安全的原因，不允许用户直接访问后台服务器。防火墙是由一系列规则构成，它们决定着哪些请求可以通过一个接口而哪些不被允许。
提供入侵阻止功能。在防火墙保障网络层/传输层安全的基础上，提供应用层安全防范

1. 针对WEB访问请求的负载均衡调度策略(反向代理的网络连接方式)
    1) RR(Round Robin)
    每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除，在实现RR算法的时候，还需要根据其他的因素: max_fails、fail_timeout、weight等因素进行综合评估
    
    2) WEIGHT(权重) 
    指定轮询几率，WEIGHT和访问比率成正比，用于后端服务器性能不均的情况

    3) IP_HASH 
    每个请求按访问IP的Hash结果分配，这样每个访客固定访问一个后端服务器，可以解决"负载集群SESSION同步"的问题(因为Hash具有结果一致性)

    4) Fair(第三方) 
    按后端服务器的响应时间来分配请求，响应时间短的优先分配 

    5) URL_HASH(第三方)
    按访问URL的Hash结果来分配请求，使每个URL定向到同一个后端服务器，后端服务器为缓存时比较有效

2. 针对网络IP层访问请求的负载均衡调度策略(面向SOCKET的IP负载均衡)
    1) 轮叫(Round Robin)
    调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载

    2) 加权轮叫(Weighted Round Robin)
    调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

    3) 最少链接(Least Connections)
    调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

    4) 加权最少链接(Weighted Least Connections)
    在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

    5) 基于局部性的最少链接(Locality-Based Least Connections)
    "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服
务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。

    6) 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)
    "带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务
器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服
务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的 程度。

    7) 目标地址散列(Destination Hashing)
    "目标地址散列"调度算法根据请求的目标IP地址，作为散列键(Hash Key)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

    8) 源地址散列(Source Hashing)
    "源地址散列"调度算法根据请求的源IP地址，作为散列键(Hash Key)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空

http://blog.sina.com.cn/s/blog_9c3ba23d01010rof.html
http://zh.wikipedia.org/wiki/%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1_(%E8%AE%A1%E7%AE%97%E6%9C%BA)
http://www.linuxvirtualserver.org/zh/lvs1.html#7

typedef struct ngx_conf_s        ngx_conf_t;

struct ngx_conf_s 
{
    char                 *name;  //没有使用
    ngx_array_t          *args;  //指令的参数

    ngx_cycle_t          *cycle; //指向系统参数，在系统整个运行过程中，
                                 //需要使用的一些参数、资源需要统一的管理
    ngx_pool_t           *pool;  //内存池
    ngx_pool_t           *temp_pool; //分配临时数据空间的内存池
    ngx_conf_file_t      *conf_file; //配置文件的信息
    ngx_log_t            *log; //日志

    void                 *ctx;  //模块的配置信息
    ngx_uint_t            module_type; //当前指令的类型
    ngx_uint_t            cmd_type; //命令的类型

    ngx_conf_handler_pt   handler; //指令处理函数，有自己行为的在这里实现
    char                 *handler_conf; //指令处理函数的配置信息
};

typedef struct ngx_http_upstream_srv_conf_s  ngx_http_upstream_srv_conf_t;

struct ngx_http_upstream_srv_conf_s 
{
    ngx_http_upstream_peer_t         peer;
    void                           **srv_conf;  // 在ngx_http_upstream()函数中被设置，指向的是本层的srv_conf  

    ngx_array_t                     *servers;   // ngx_http_upstream_server_t

    ngx_uint_t                       flags;     // 调用函数时ngx_http_upstream_add() 指定的标记  
    ngx_str_t                        host;      // 在函数 ngx_http_upstream_add()中设置(e.g. upstream backend中的backend)
    u_char                          *file_name; // "/usr/local/nginx/conf/nginx.conf"  
    ngx_uint_t                       line;      // proxy在配置文件中的行号  
    in_port_t                        port;      // 使用的端口号，ngx_http_upstream_add()函数中添加, 指向ngx_url_t-->port，通常在函数ngx_parse_inet_url()中解析
    in_port_t                        default_port;  //默认使用的端口号(ngx_http_upstream_add()函数中添加, 指向ngx_url_t-->default_port)
};

typedef struct 
{
    //使用负载均衡的类型，默认采用ngx_http_upstream_init_round_robin()
    ngx_http_upstream_init_pt        init_upstream;

    //使用的负载均衡类型的初始化函数 
    ngx_http_upstream_init_peer_pt   init;

    //us->peer.data = peers; 指向的是 ngx_http_upstream_rr_peers_t(函数 ngx_http_upstream_init_round_robin()中设置)
    void                            *data;
} ngx_http_upstream_peer_t;

typedef ngx_int_t (*ngx_http_upstream_init_pt)(ngx_conf_t *cf, ngx_http_upstream_srv_conf_t *us);
typedef ngx_int_t (*ngx_http_upstream_init_peer_pt)(ngx_http_request_t *r, ngx_http_upstream_srv_conf_t *us);

typedef struct ngx_array_s       ngx_array_t;

// 动态数组
struct ngx_array_s 
{
    // elts指向数组的首地址
    void        *elts; 
    // nelts是数组中已经使用的元素个数
    ngx_uint_t   nelts; 
    // 每个数组元素占用的内存大小
    size_t       size;  
    // 当前数组中能够容纳元素个数的总大小
    ngx_uint_t   nalloc; 
    // 内存池对象
    ngx_pool_t  *pool;  
};

typedef struct 
{
    ngx_addr_t                      *addrs;         //指向存储IP地址的数组的指针，host信息(对应的是 ngx_url_t->addrs )  
    ngx_uint_t                       naddrs;        //与第一个参数配合使用，数组元素个数(对应的是 ngx_url_t->naddrs )  
    ngx_uint_t                       weight;
    ngx_uint_t                       max_fails;
    time_t                           fail_timeout;

    unsigned                         down:1;
    unsigned                         backup:1;
} ngx_http_upstream_server_t;

typedef struct 
{
    struct sockaddr                *sockaddr;        //后端服务器地址  
    socklen_t                       socklen;        //后端服务器地址长度
    ngx_str_t                       name;        //后端名称  
    ngx_str_t                       server;

    ngx_int_t                       current_weight;    //当前权重，nginx会在运行过程中调整此权重  
    ngx_int_t                       effective_weight;    //配置的权重
    ngx_int_t                       weight;        //current_weight是运行时的动态权值

    ngx_uint_t                      fails;        //已尝试失败次数  
    time_t                          accessed;        //检测失败时间，用于计算超时  
    time_t                          checked;

    ngx_uint_t                      max_fails;        //最大失败次数  
    time_t                          fail_timeout;    //多长时间内出现max_fails次失败便认为后端down掉了  

    ngx_uint_t                      down;          /* unsigned  down:1; */

#if (NGX_HTTP_SSL)
    ngx_ssl_session_t              *ssl_session;   /* local to a process */
#endif
} ngx_http_upstream_rr_peer_t;

typedef struct ngx_http_upstream_rr_peers_s  ngx_http_upstream_rr_peers_t;

struct ngx_http_upstream_rr_peers_s 
{
    ngx_uint_t                      single;         // unsigned  single:1;  
    ngx_uint_t                      number;         // 队列中服务器数量 
    ngx_uint_t                      last_cached;

 /* ngx_mutex_t                    *mutex; */
    ngx_connection_t              **cached;

    ngx_str_t                      *name;

    ngx_http_upstream_rr_peers_t   *next;           // 后备服务器列表挂载在这个字段下  

    ngx_http_upstream_rr_peer_t     peer[1];
};

typedef struct 
{
    ...
    /*
    1. 当前权重，nginx会在运行过程中调整此权重  
    current_weight相当于重量，是运行时的动态权值，它的变化基于effective_weight。但是
        1) effective_weight在其对应的peer服务异常时，会被调低
        2) 当服务恢复正常时，effective_weight会逐渐恢复到实际值(配置的weight)
    */
    ngx_int_t    current_weight;         

    /*
    2. 配置的权重
    effective_weight相当于质量(来源于配置的weight)，反应了本质
    */
    ngx_int_t    effective_weight;     
    ngx_int_t    weight;            //current_weight是运行时的动态权值
    ...
 } ngx_http_upstream_rr_peer_t;

1. weight的值在整个运行过程中不发生变化
2. total变量记录了针对一个服务列表的一次轮询过程中轮询到的所有服务的effective_weight总和。在每一次针对服务列表的轮询之前会置为为0
3. 遍历服务列表的过程中，每遍历到一个服务
    1) 会在该服务的current_weight上加上其对应的effective_weight。这个是累加
    2) 如果对统一的服务列表进行另一次轮询，那么会在前面计算的current_weight的基础之上再加上effective_weight
4. 轮询策略是取current_weight最大的服务器。每次取到后端服务(用best表示)后，都会把该对象peer的current_weight减去total的值。因为该服务刚被选中过，因此要降低权值

1. ngx_http_upstream_get_peer()中
//服务正常，effective_weight 逐渐恢复正常      
if (peer->effective_weight < peer->weight) 
{  
    peer->effective_weight++;  
}

2. 另一处是在释放后端服务的函数ngx_http_upstream_free_round_robin_peer中
if (peer->max_fails) 
{  
     //服务发生异常时，调低effective_weight  
    peer->effective_weight -= peer->weight / peer->max_fails;  
}

1. Nginx如何选择一个最初的server
2. 以及当前选择的server不能提供服务时，如何选择下一个server

1. 它选择最初的server的方法是根据请求客户端的IP计算出一个哈希值，再根据哈希值选择后台的服务器，由IP计算哈希值的算法如下
//其中公式中hash初始值为89，iphp->addr[i]表示客户端的IP，通过三次哈希计算得出一个IP的哈希值
for (i = 0; i < 3; i++) 
{
      hash = (hash * 113 + iphp->addr[i]) % 6271;
}
 
2. 在选择下一个server时，ip_hash的选择策略是这样的：
它在上一次哈希值的基础上，再次哈希，就会得到一个全新的哈希值，再根据哈希值选择另外一个后台的服务器。哈希算法仍然是
for (i = 0; i < 3; i++) 
{
      hash = (hash * 113 + iphp->addr[i]) % 6271;
}
 
3. 在这种ip_hash策略
    1) 如果一个后台服务器不能提供提服务(连接超时或读超时)，该服务器的失败次数就会加一，当一个服务器的失败次数达到max_fails所设置的值，就会在fail_timeout所设置的时间段内不能对外提供服务，这点和RR是一致的
    2) 如果当前server不能提供服务，就会根据当前的哈希值再哈希出一个新哈希值，选择另一个服务器继续尝试，尝试的最大次是upstream中server的个数，如果server的个数超过20，也就是要最大尝试次数在20次以上，当尝试
次数达到20次，仍然找不到一个合适的服务器，ip_hah策略不再尝试ip哈希值来选择server, 而在剩余的尝试中，它会转而使用RR的策略，使用轮循的方法，选择新的server。

4. 除了以上部分不同外，IP_hash的其余部分和RR完全一样，因为它的其余部分功能的实现都是通过调用RR中的函数

http://www.cnblogs.com/yjf512/archive/2012/06/13/2548515.html
https://github.com/jianfengye/nginx-1.0.14_comment
http://blog.csdn.net/gzh0222/article/details/7996835
http://blog.csdn.net/livelylittlefish/article/details/6571497
http://blog.sina.com.cn/s/blog_9c3ba23d01010rof.html
http://blog.csdn.net/xiajun07061225/article/details/9318871
http://baidutech.blog.51cto.com/4114344/1033718
《nginx模块开发与架构解析》