码迷，mamicode.com
首页 > 其他好文 > 详细

Nginx负载均衡集群介绍

时间：2017-07-12 12:15:43      阅读：191      评论：0      收藏：0      [点我收藏+]

标签：nginx 负载均衡

第1章 集群介绍

1.1 集群简介

1.1.1 什么是集群

简单说，集群就是一组（若干个）相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点（即集群中的每台计算机）都是运行各自服务的独立服务器，这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。当用户客户机请求集群系统时，集群给用户的感觉就是一台服务器干一件事。

                           

1.2 集群的优势特点

  • 高性能（performance）

一些国家重要的计算密集型应用（如天气预报，核试验模拟等），需要计算机有很强的计算处理能力。以全世界现有的技术，即使是大型机，其计算能力也是有限的，很难单独完成此任务。因为计算时间可能会相当长，也许几天，甚至几年或更久。因此，对于这类复杂的计算业务，便使用了计算机集群技术，集中有几十甚至上百台计算机进行计算。

  • 高可用（availability）

   单一的计算机系统总会面临设备损毁的问题，例如：CPU，内存，主板，电源，硬盘等，只要一个部件坏掉，这个计算机系统就有可能会宕机，无法正常提供服务。在集群系统中，尽管硬件和软件也还是会发生故障，但整个系统的服务可以是每天24*7可用的。

  • 数据不能丢

  • 网站7*24不宕机

  • 用户的体验好

高可用性集群常用的开源软件包括keepalived，heartbeat等。


 

1.3 集群的分类

计算机集群架构按功能和结构可以分成以下几类：

  • 负载均衡集群（load balancing clusters）,简称LBC或LB.

  • 高可用性集群（HIGH-availability(HA)clusters）,简称HAC.

  • 高性能计算集群（High-performance(HPC)clusters）,简称HPC。

  • 网格计算（grid computing）

提示：负载均衡和高可用性集群是互联网行业常用的集群架构模式。

负载均衡集群的作用为：

  • 分担用户访问请求及数据流量（负载均衡）。

  • 保持业务连续性，即7*24小时服务（高可用性）

  • 应用于web业务及数据库从库（读）等服务器的业务。

负载均衡集群典型的开源软件包括LVS,Nginx,Haproxy等

1.4 常见的集群软硬件介绍

互联网企业常用的开源集群软件有：Nginx(7 [v1.9] 4),LVS(4层)，haproxy(4,7),keepalived,heartbeat.

应用层（http HTTPS）

传输层（tcp）

互联网企业常用的商业集群硬件有：F5,netscaler,radware,A10等，工作模式相当于haproxy的工作模式。

淘宝，赶集网，新浪等公司曾使用过Netscaler负载均衡产品。



  • 当企业业务重要，技术力量有薄弱，并且希望出钱购买产品及获取更好的服务时，可以选择硬件负载均衡产品，如F5，Netscaler,Radware等，此类公司多为传统的大型非互联网企业，如银行，证券，金融，宝马，奔驰等。

  • 对于门户网站来说，大多会并用软件及硬件产品来分担单一产品的风险，如淘宝，腾讯，新浪等。融资了的企业会购买硬件产品，如赶集网等网站。

  • 中小型互联网企业，由于起步阶段无利润可赚或利润很低，会希望通过使用开源免费的方案来解决问题，因此会雇佣专门的运维人员进行维护。

第2章 Nginx负载均衡集群介绍

2.1 反向代理与负载均衡概念简介

严格的说，nginx仅仅是作为nginxproxy反向代理使用的，因为这个反向代理功能表现的效果是负载均衡的效果，所以本文称之为nginx负载均衡。那么反向代理和负载均衡有什么区别？

普通负载均衡软件，例如大名鼎鼎的LVS，其实现的功能只是对请求数据包的转发（也可能会改写数据包），传递，其中DR模式明显的特征是从负载均衡下面的节点服务器来看，接收到的请求还是来自访问负载均衡器的客户端的真实用户，而反向代理就不一样了，反向代理接受访问用户的请求后，会代理用户重新发起请求代理下的节点服务器，最后把数据返回给客户端用户，在节点服务器看来，访问的节点服务器的客户端用户就是反向代理服务器了，而非真实的网站访问用户。


2.2 负载均衡演示

2.2.1 web服务器上配置站点

2.2.1.1web服务器上配置站点，操作前先备份

[root@web01 ~]# cp/application/nginx/conf/nginx.conf{,.bak.lb}

2.2.1.2创建配置文件

vim/application/nginx/conf/nginx.conf

 

  worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   log_format  main  ‘$remote_addr - $remote_user [$time_local]"$request" ‘

                      ‘$status $body_bytes_sent"$http_referer" ‘

                     ‘"$http_user_agent" "$http_x_forwarded_for"‘;

 

   server {

        listen       80;

        server_name  www.etiantian.org;

        location / {

            root   html/www;

            index  index.html index.htm;

        }

        access_log  logs/access_www.log  main;

   }

        server {

        listen       80;

        server_name  bbs.etiantian.org;

        location / {

            root   html/bbs;

            index  index.html index.htm;

        }

        access_log  logs/access_bbs.log  main;

   }

}


2.2.1.3创建站点并追加内容到站点目录主页内容

mkdir -p/application/nginx/html/{www,bbs}

for dir in www bbs;do echo"`ifconfig eth0|egrep -o "10.0.0.[0-9]+"` $dir">/application/nginx/html/$dir/bingbing.html;done

2.2.1.4检查语法并重启服务

/application/nginx/sbin/nginx -t

/application/nginx/sbin/nginx -s reload

2.2.1.5lb01 上面进行测试

curl 10.0.0.7/bingbing.html

curl 10.0.0.8/bingbing.html

curl 10.0.0.9/bingbing.html

2.2.2 负载均衡服务器上配置服务

2.2.2.1在负载均衡lb01上配置配置文件（）

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

 

   upstreamserver_pools {

         server 10.0.0.7;

         server 10.0.0.8;

         server 10.0.0.9;

    }      

   

   server {

      listen       80;

      server_name  www.etiantian.org;

      location / {

        proxy_pass http://server_pools;

      }

   }

}

注：多台负载均衡都要配置upstream服务器地址池。

2.2.2.2重启配置文件

[root@lb01 conf]# /application/nginx/sbin/nginx-t

nginx: the configuration file/application/nginx-1.10.2/conf/nginx.conf syntax is ok

nginx: configuration file/application/nginx-1.10.2/conf/nginx.conf test is successful

[root@lb01 conf]# lsof -i:80

COMMAND  PID USER  FD   TYPE DEVICE SIZE/OFF NODENAME

nginx   4717 root   6u  IPv4  16704     0t0  TCP *:http (LISTEN)

nginx   4719 www    6u  IPv4 16704      0t0  TCP *:http (LISTEN)

[root@lb01 conf]#/application/nginx/sbin/nginx -s reload

2.2.2.3测试结果

[root@lb01-05 conf]# curl10.0.0.5/bingbing.html

10.0.0.9

10.0.0.255 www

[root@lb01-05 conf]# curl10.0.0.5/bingbing.html

10.0.0.7

10.0.0.255 www

[root@lb01-05 conf]# curl10.0.0.5/bingbing.html

10.0.0.8

10.0.0.255 www


第3章 负载均衡模块说明

nginx http 功能模块

模块说明

ngx_http_proxy_module

proxy代理模块，用于把请求后抛给服务器节点或upstream 服务器池。

ngx_http_upstream_module

负载均衡模块，可以实现网站的负载均衡功能及节点的健康检查，创建一个池子，web服务器。

 

3.1 Nginxupstream模块

nginx的负载均衡功能依赖于ngx_httpstream_module模块，所支持的代理方式包括proxy_pass,fastcgi_pass,memcached_pass等，新版nginx软件支持的方式有所增加。

ngx_http_upstream_module模块允许nginx定义一组或多组节点服务器组，使用时可以通过proxy_pass代理方式把网站的请求发送到实现定义好的对应的upstream组的名字上，具体写法为“proxy_pass  http://www_server_pools”,其中www_server_pools就是一个upstream节点服务器组的名字。

3.1.1 upstream的server标签参数说明

server标签

参数说明

server 10.0.0.8:80

负载均衡后面的RS配置，可以是IP或域名，如果端口不写，默认是80端口。高并发场景下，IP可以换成域名，通过DNS做负载均衡。

weight=1

代表服务器的权重，默认值是1.权重数字越大表示接受的请求比例越大。

max_fails=1

nginx尝试连接后端主机的次数，这个数值是配合proxy_next_upstream，fastcgi_next_upstream和memcached_next_upstream这三个参数来使用，当nginx接收后返回这三个参数定义的状态码时，会将这个请求转发给正常工作的后端服务器，列如404,502,503，max_fails的默认值是1；企业场景：建议2-3次，京东1次，蓝汛10次（CDN），根据业务需求去配置。

fail_timeout=10s

在max_fails定义的失败次数后，距离下次检查的间隔时间，默认是10s,如果max_fails是5，它就检测5次，如果5次都是502。那么，他就会根据fail_timeout的值，等待10s再去检查，还是只检查一次，如果持续502，在不重新加载nginx配置的情况下，每隔10s都只检测一次，常规业务2-3秒比较合理，比如京东3秒，蓝汛3秒，可根据业务需求去配置。

backup

热备配置（RS节点的高可用），当前面激活的RS都失败后会自动启用热备RS，这标志这个服务器作为备份服务器，若主服务器全部宕机了，就会向他转发请求；注意，当负载调度算法为ip_hash时，后端服务器在负载均衡调度中的状态不能使weight和backup。

3.1.1.1nginx upstream weight标签测试

  • 操作前备份

[root@lb01 ~]# cd/application/nginx/conf/

[root@lb01 conf]# pwd

/application/nginx/conf

[root@lb01 conf]# hostname

lb01

[root@lb01 conf]# cpnginx.conf{,.bak.before.upsteam}

[root@lb01 conf]# cat nginx.conf

  • 修改配置文件

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   

   

   upstreamserver_pools {

         server 10.0.0.7:80weight=2;

         server 10.0.0.8:80weight=1;

         server 10.0.0.9:80weight=1;

    }       

   

   server {

      listen       80;

      server_name  www.etiantian.org;

      location / {

        proxy_pass http://server_pools;

      }

   }

}

  • 检查语法并重启

/application/nginx/sbin/nginx -t

 

lsof -i:80

/application/nginx/sbin/nginx

  • 测试结果

curl 10.0.0.5/bingbing.html

for i in {1..10};do curl10.0.0.5/bingbing.html;done

3.1.1.2nginx upstream  max_fails和 fail_timeout标签测试

  • 修改配置文件

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type  application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   

   

   upstream server_pools {

         server 10.0.0.7:80 weight=4 max_fails=3 fail_timeout=30s;

         server 10.0.0.8:80 weight=4 max_fails=3 fail_timeout=30s;

#         server 10.0.0.9:80 weight=1;

   }      

   

   server {

      listen       80;

      server_name  www.etiantian.org;

      location / {

        proxy_pass http://server_pools;

      }

   }

}

  • 测试结果：

for n in {1..1000};do curl -s  10.0.0.5/bingbing.html|grep"[78]$";sleep 1;date +%T;done

 

sed -i ‘N;s#\n10.0.0.255# #g‘/application/nginx/html/{www,bbs}/bingbing.html

3.1.1.3nginx upstream backup标签 测试

  • 修改配置文件

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type  application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   

   

   upstream server_pools {

         server 10.0.0.7:80 weight=4 max_fails=3fail_timeout=30s;

         server 10.0.0.8:80 weight=4 max_fails=3 fail_timeout=30s;

         server 10.0.0.9:80 weight=4 max_fails=3fail_timeout=30s backup;

   }      

   

   server {

      listen       80;

      server_name  www.etiantian.org;

      location / {

        proxy_pass http://server_pools;

      }

   }

}

3.2 upstream模块调度算法

调度算法一般分为两类，第一类为静态调度算法，即负载均衡器根据自身设定的规则进行分配，不需要考虑后端节点服务器的情况，例如：rr,wrr,ip_hash等都属于静态调度算法。


 

第二类为动态调度算法，即


3.2.1 WRR权重轮询

 

 

3.2.2 RR轮询

 

3.2.3 IP_hash(静态调度算法)

 

 

3.2.4 least_conn

 

 

 

#####nginx.conf 多个虚拟主机

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   

   upstream server_pools {

         server 10.0.0.7:80 weight=4max_fails=3 fail_timeout=30s;

         server 10.0.0.8:80 weight=4max_fails=3 fail_timeout=30s;

         server 10.0.0.9:80 weight=4max_fails=3 fail_timeout=30s;

   }      

   

   server {

      listen       80;

      server_name  www.etiantian.org;

      location / {

        proxy_pass http://server_pools;

        proxy_set_header Host $host;

      }

   }

   server {

      listen       80;

      server_name  bbs.etiantian.org;

      location / {

       proxy_pass http://server_pools;

        proxy_set_header Host $host;

      }

   }

}

注：多个虚拟主机设置主机头：因为一个web服务器中可能有很多的虚拟主机站点，如果使用IP地址访问时，默认每次访问都会到达第一个站点，此时如果加上主机头，访问一个web网站的时候，会有针对性的访问带有的主机头的虚拟主机。

 

X-Forwarded-For

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   

   

   upstream server_pools {

         server 10.0.0.7:80 weight=4max_fails=3 fail_timeout=30s;

         server 10.0.0.8:80 weight=4max_fails=3 fail_timeout=30s;

         server 10.0.0.9:80 weight=4max_fails=3 fail_timeout=30s;

   }      

   

   server {

      listen       80;

      server_name  www.etiantian.org;

      location / {

        proxy_pass http://server_pools;

        proxy_set_header  Host $host;

        proxy_set_header X-Forwarded-For $remote_addr;

      }

   }

   server {

      listen       80;

      server_name  bbs.etiantian.org;

      location / {

        proxy_pass http://server_pools;

        proxy_set_header  Host $host;

        proxy_set_header X-Forwarded-For $remote_addr;

      }

   }

}


 

##

##根据用户请求的url目录（URI）进行转发 用户的请求

 

####第一个里程碑-规划 分类

/upload      10.0.0.8:80       upload服务器

/static           10.0.0.7:80       static静态服务器

/            10.0.0.9:80       默认

 

####第二个里程碑-创建澡堂子

 

 

upstream upload_pools {

 server 10.0.0.8:80;

}

 

upstream static_pools {

 server 10.0.0.7:80;

}

 

upstream default_pools {

 server 10.0.0.9:80;

}

 

 

##第三个里程碑-什么时候去某一个澡堂子（条件）

location  ====== 专门用来匹配判断 uri  if ($uri ~ xxxx)

 

 

location /static/ {

    proxy_passhttp://static_pools;

   proxy_set_header Host $host;

   proxy_set_header X-Forwarded-For $remote_addr;

}

 

#将符合upload的请求交给上传服务器池upload_pools，配置如下：

location /upload/ {

    proxy_passhttp://upload_pools;

   proxy_set_header Host $host;

   proxy_set_header X-Forwarded-For $remote_addr;

}

 

#不符合上述规则的请求，默认全部交给动态服务器池default_pools，配置如下：

location / {

    proxy_passhttp://default_pools;

   proxy_set_header Host $host;

   proxy_set_header X-Forwarded-For $remote_addr;

}

 

###第四个里程碑-配置lb负载均衡

 

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   log_format  main  ‘$remote_addr - $remote_user [$time_local]"$request" ‘

                      ‘$status $body_bytes_sent"$http_referer" ‘

                     ‘"$http_user_agent" "$http_x_forwarded_for"‘;

                           

                           

    upstreamupload_pools {

      server 10.0.0.8:80;

    }

 

    upstreamstatic_pools {

      server 10.0.0.7:80;

    }

 

    upstreamdefault_pools {

      server 10.0.0.9:80;

    }

 

   server {

        listen 80;

        server_name www.etiantian.org;

    location/static/ {

        proxy_pass http://static_pools;

        proxy_set_header Host $host;

        proxy_set_header X-Forwarded-For$remote_addr;

    }

 

        location /upload/ {

        proxy_pass http://upload_pools;

        proxy_set_header Host $host;

        proxy_set_header X-Forwarded-For$remote_addr;

    }

 

     location / {

        proxy_pass http://default_pools;

        proxy_set_header Host $host;

        proxy_set_header X-Forwarded-For$remote_addr;

    }

         access_log  logs/access_www.log  main;

    }

}

 

###第五个里程碑-创建环境

www.etiantian.org/bingbing.html

www.etiantian.org/upload/bingbing.html

www.etiantian.org/static/bingbing.html

 

##web01

mkdir -p/application/nginx/html/www/upload

echo "web01 upload">/application/nginx/html/www/upload/bingbing.html

 

##web02

mkdir -p/application/nginx/html/www/static

echo "web02 static">/application/nginx/html/www/static/bingbing.html

 

##web03

echo "web03 default" >/application/nginx/html/www/bingbing.html

 

###第五个里程碑-进行测试

 

[root@lb01 conf]# curlwww.etiantian.org/bingbing.html

web03 default

[root@lb01 conf]# curlwww.etiantian.org/static/bingbing.html

web02 static

[root@lb01 conf]# curlwww.etiantian.org/upload/bingbing.html

web01 upload

 

 #####nginx.conflb01 基于 用户的客户端浏览器

worker_processes  1;

events {

   worker_connections  1024;

}

http {

   include       mime.types;

   default_type application/octet-stream;

   sendfile        on;

   keepalive_timeout  65;

   

   upstream upload_pools {

     server 10.0.0.8:80;

   }

   

   upstream static_pools {

     server 10.0.0.7:80;

   }

   

   upstream default_pools {

     server 10.0.0.9:80;

   }

   

   server {

      listen       80;

      server_name  www.etiantian.org;

        location / {

         if ($http_user_agent ~*"MSIE")

 

          {

            proxy_pass http://static_pools;

          }

         if ($http_user_agent ~*"Chrome")

 

          {

            proxy_pass http://upload_pools;

          }

        proxy_pass http://default_pools;

        proxy_set_header Host $host;

        proxy_set_header X-Forwarded-For$remote_addr;

       

      }

   }

}

 

 

[root@lb01 conf]# curl10.0.0.5/bingbing.html

web03 default

[root@lb01 conf]# curl10.0.0.5/static/bingbing.html

<html>

<head><title>404 NotFound</title></head>

<bodybgcolor="white">

<center><h1>404 NotFound</h1></center>

<hr><center>nginx/1.10.2</center>

</body>

</html>

[root@lb01 conf]# curl10.0.0.5/upload/bingbing.html

<html>

<head><title>404 NotFound</title></head>

<body bgcolor="white">

<center><h1>404 NotFound</h1></center>

<hr><center>nginx/1.10.2</center>

</body>

</html>

 

[root@lb01 conf]# curl -A chrome10.0.0.5/upload/bingbing.html

web01 upload

[root@lb01 conf]# curl10.0.0.5/bingbing.html

web03 default

[root@lb01 conf]# curl -A msie10.0.0.5/static/bingbing.html

web02 static

 

[root@lb01 conf]# ####访问一个目录  nginx 默认找的文件是 index.html index.htm

[root@lb01 conf]# #####如果这些文件不存在  nginx报错 403

[root@lb01 conf]# curl -A chrome10.0.0.5/upload/oldboy.txt

<html>

<head><title>404 NotFound</title></head>

<bodybgcolor="white">

<center><h1>404 NotFound</h1></center>

<hr><center>nginx/1.10.2</center>

</body>

</html>

 

404错误

[root@lb01 conf]# ####1.10.0.0.5  访问我的反向代理 lb01

[root@lb01 conf]# ####2.10.0.0.5 默认访问第一个虚拟主机 server 

[root@lb01 conf]# ####3.查看对应的条件 uri 目录

[root@lb01 conf]#         # if ($http_user_agent ~*"MSIE")

[root@lb01 conf]#         #

[root@lb01 conf]#         # {

[root@lb01 conf]#         #   proxy_pass http://static_pools;

[root@lb01 conf]#         # }

[root@lb01 conf]#         # if ($http_user_agent ~*"Chrome")

[root@lb01 conf]#         #

[root@lb01 conf]#         # {

[root@lb01 conf]#         #   proxy_pass http://upload_pools;

[root@lb01 conf]#         # }

[root@lb01 conf]#         #proxy_pass http://default_pools;

[root@lb01 conf]# ####4.最后找到的是 默认的池塘 里面没有 upload 目录

[root@lb01 conf]# ####5. 没有这个目录 404 找不到

[root@lb01 conf]# curl  10.0.0.5/upload/

<html>

<head><title>404 NotFound</title></head>

<bodybgcolor="white">

<center><h1>404 NotFound</h1></center>

<hr><center>nginx/1.10.2</center>

</body>

</html>

403错误

[root@lb01 conf]# curl -A msie  10.0.0.5/static/

<html>

<head><title>403Forbidden</title></head>

<bodybgcolor="white">

<center><h1>403Forbidden</h1></center>

<hr><center>nginx/1.10.2</center>

</body>

</html>

[root@lb01 conf]# ####1.lb01

[root@lb01 conf]# ####2.匹配的是第一个虚拟主机 10.0.0.5  www.etiantian.org

[root@lb01 conf]# ####3.进入location

[root@lb01 conf]#         # if ($http_user_agent ~*"MSIE")

[root@lb01 conf]#         #

[root@lb01 conf]#         # {

[root@lb01 conf]#         #   proxy_pass http://static_pools;

[root@lb01 conf]#         # }

[root@lb01 conf]#         # if ($http_user_agent ~*"Chrome")

[root@lb01 conf]#         #

[root@lb01 conf]#         # {

[root@lb01 conf]#         #   proxy_pass http://upload_pools;

[root@lb01 conf]#         # }

[root@lb01 conf]# ####5.判断

[root@lb01 conf]# ####-A 装作是msie

[root@lb01 conf]# ####6.扔到了static_pools  10.0.0.7

[root@lb01 conf]# ####7.10.0.0.7 这个机器上面  有/static 目录

[root@lb01 conf]#####8.10.0.0.5/static/  =====10.0.0.5/static/index.html

[root@lb01 conf]# ####9.找首页文件 但是 首页文件不存在就显示403     默认去找index.html

[root@lb01 conf]#

[root@lb01 conf]# ####10.找不到就汇报403 错误 。

##1.浏览器缓存 ctrl+F5

##2.域名没有解析

##3.修改了配置文件，没重启  配置文件没生效


 


本文出自 “大东” 博客，转载请与作者联系！

Nginx负载均衡集群介绍

标签：nginx 负载均衡

原文地址：http://dadonggg.blog.51cto.com/12672150/1946509
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！