码迷，mamicode.com
首页 > 其他好文 > 详细

架构设计：负载均衡层设计方案（7）——LVS + Keepalived + Nginx安装及配置

时间：2017-05-28 20:14:18      阅读：345      评论：0      收藏：0      [点我收藏+]

标签：centos   daemon   link   处理   rac   队列   const   src   path   

1、概述

上篇文章《架构设计：负载均衡层设计方案（6）——Nginx + Keepalived构建高可用的负载层》(http://blog.csdn.net/yinwenjie/article/details/47130609) 我们解说了Nginx的故障切换。而且承诺各位读者会尽快解说 LVS + Keepalived + Nginx的安装和配置。在中间由于工作的原因。我又插写了三篇关于zookeeper的原理使用的文章。今天这边文章我们回归主题。为各位读者解说LVS + Keepalived + Nginx的安装及配置。

2、安装计划和准备工作

下图，我们表示了本篇文章要搭建的整个集成架构的抽象结构：

技术分享

我们採用两个LVS节点（141和142），可是一个时间工作的仅仅有一个LVS节点，还有一个始终处于热备standby状态。由keepalived监控这两个节点的工作状态并完毕切换。

在LVS节点下。我们採用LVS-DR工作模式挂载了两个Nginx节点（131、132）。并终于将外网请求交由这两个节点进行处理。注意：在实际工作中。Nginx以下一般就是訪问静态资源、动态资源的配置了。

2-1、准备两个keepalived节点

首先我们在将要安装LVS的两个节点上，先安装keepalived，并保证这两个keepalived节点能够正常工作（监控批次的状态）。当然。您也能够先准备LVS。在准备keepalived。

我想准备keepalived节点。大家应该轻车熟路了吧，在《架构设计：负载均衡层设计方案（6）——Nginx + Keepalived构建高可用的负载层》这篇文章中具体介绍了keepalived的最简配置方式。为了大家阅读方便，我们在这里再进行依次简要说明。准备keepalived的整个过程包含：

  1. 安装必要的支撑组件。源代码安装keepalived
  2. 将keepalived注冊成节点的服务，以便保证keepalived在节点启动时就開始工作
  3. 更改keepalived的配置文件，让其能够正常工作
  4. 验证准备工作

=============安装keepalived

[root@lvs1 ~]# yum install -y zlib zlib-devel gcc gcc-c++ openssl openssl-devel openssh
[root@lvs1 ~]# tar -zxvf keepalived-1.2.17.tar.gz
[root@lvs1 ~]# cd keepalived-1.2.17
[root@lvs1 ~]# ./configure --perfix=/usr/keepalived-1.2.17
[root@lvs1 ~]# make & make install

=============将keepalived注冊成服务（假设您使用的默认路径安装，就不须要cp命令了）

[root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/sysconfig/keepalived  /etc/sysconfig/keepalived 
[root@lvs1 ~]# cp /usr/keepalived-1.2.17/sbin/keepalived /usr/sbin/keepalived
[root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/keepalived
[root@lvs1 ~]# mkdir /etc/keepalived
[root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
[root@lvs1 ~]# 能够做成服务了（不要拷贝。无用的）
[root@lvs1 ~]# chkconfig keepalived on

做成服务后，先不要急着启动，由于配置文件还没有改好。
========配置keepalived（配置文件在：/etc/keepalived/keepalived.conf）

! Configuration File for keepalived

global_defs {
   #notification_email {
   #  acassen@firewall.loc
   #  failover@firewall.loc
   #  sysadmin@firewall.loc
   #}
   #notification_email_from Alexandre.Cassen@firewall.loc
   #smtp_server 192.168.200.1
   #smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    #141节点设置为MASTER。142或者还有其它的节点设置为BACKUP
    #还记得我们前面文章讲到的无抢占设置吗？这里也能够用哦。
    state MASTER
    #网络适配器名称
    interface eth0
    virtual_router_id 51
    #全部的SLAVE节点的优先级都要比这个设置值低
    priority 120
    advert_int 1
    #真实ip，142要改成相应的lvs节点真实ip
    mcast_src_ip=192.168.220.141
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #虚拟/浮动IP
    virtual_ipaddress {
        192.168.220.140
    }
}

以上配置还是最简单的keepalived配置，由于我们还没有加上配合LVS使用的虚拟ip监測设置和下层真实ip监測的设置。最简配置主要是为了保证keepalived节点是工作正常的。

将以上的配置分别相应到LVS的两个节点（注意要修改的地方哦）

==========进行keepalived工作状态的检查：

[root@lvs1 ~]# /etc/init.d/keepalived start

如今设置为MASTER的keepalived节点（或者在非抢占模式下。优先级最高的那个节点）。已经绑定了140这个虚拟ip了：

[root@lvs2 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:39:75:9f brd ff:ff:ff:ff:ff:ff
    inet 192.168.220.141/24 brd 192.168.220.255 scope global eth0
    inet 192.168.220.140/32 scope global eth0
    inet6 fe80::20c:29ff:fe39:759f/64 scope link 
       valid_lft forever preferred_lft forever

当然您也能够通过 /var/log/message的日志进行keepalived是否正常工作的验证。

2-2、继续两个keepalived节点上准备LVS

准备lvs的工作就太简单了，由于centos6.4、6.5、6.6都已经集成了LVS的核心，我们仅仅须要安装LVS的管理工具即可了：

两个LVS节点都运行：

yum -y install ipvsadm

还记得lvs管理工具怎么使用吗？请參见我介绍LVS单节点安装的博文：《架构设计：负载均衡层设计方案（5）——LVS单节点安装》。

这里为了方便阅读。给出主要參数的含义列表：

-A –add-service 在内核的虚拟server表中加入一条新的虚拟server记录。也就是添加一台新的虚拟server。
-E –edit-service 编辑内核虚拟server表中的一条虚拟server记录。

-D –delete-service 删除内核虚拟server表中的一条虚拟server记录。

-C –clear 清除内核虚拟server表中的全部记录。
-R –restore 恢复虚拟server规则
-S –save 保存虚拟server规则，输出为-R 选项可读的格式
-a –add-server 在内核虚拟server表的一条记录里加入一条新的真实server记录。也就是在一个虚拟server中添加一台新的真实server
-e –edit-server 编辑一条虚拟server记录中的某条真实server记录
-d –delete-server 删除一条虚拟server记录中的某条真实server记录
-L –list 显示内核虚拟server表
-Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）
–set tcp tcpfin udp 设置连接超时值
–start-daemon 启动同步守护进程。他后面能够是master 或backup。用来说明LVS Router 是master 或是backup。在这个功能上也能够採用keepalived 的VRRP 功能。
–stop-daemon 停止同步守护进程
-t –tcp-service service-address 说明虚拟server提供的是tcp 的服务[vip:port] or [real-server-ip:port]
-u –udp-service service-address 说明虚拟server提供的是udp 的服务[vip:port] or [real-server-ip:port]
-f –fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s –scheduler scheduler 使用的调度算法。选项：rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, 默认的调度算法是： wlc.
-p –persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的server处理。timeout 的默认值为300 秒。

-M –netmask netmask persistent granularity mask
-r –real-server server-address 真实的server[Real-Server:port]
-g –gatewaying 指定LVS 的工作模式为直接路由模式DR模式（也是LVS默认的模式）
-i –ipip 指定LVS 的工作模式为隧道模式
-m –masquerading 指定LVS 的工作模式为NAT 模式
-w –weight weight 真实server的权值
–mcast-interface interface 指定组播的同步接口
–connection 显示LVS 眼下的连接 如：ipvsadm -L -c
–timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L –timeout
–daemon 显示同步守护进程状态
–stats 显示统计信息
–rate 显示速率信息
–sort 对虚拟server和真实server排序输出
–numeric -n 输出IP 地址和端口的数字形式

到后面正式启动LVS的时候，就不要问我參数含义咯。^_^

2-3、准备两个Nginx节点并保证可用

在《架构设计：负载均衡层设计方案（5）——LVS单节点安装》(http://blog.csdn.net/yinwenjie/article/details/47010569) 这篇文章中，我们具体解说了Nginx节点的准备工作。可是为了方便各位读者阅读，这里我们大致再讲一下。

Nginx节点的准备工作主要由以下步骤构成（这个不是本文的重点。点到即可）：

  1. 安装Nginx（当然，正式系统中，还涉及到Nginx的參数调优，能够參见《架构设计：负载均衡层设计方案（2）——Nginx安装》这篇文章）
  2. 打开Nginx所在server的“路由”功能、关闭“ARP查询”功能
  3. 将VIP：192.168.220.140 设置成Nginx所在节点的回环IP

=============安装Nginx

[root@vm1 ~]# yum -y install make zlib zlib-devel gcc gcc-c++ ssh libtool
[root@vm1 ~]# 下载nginx（别拷贝，不能运行的）
[root@vm1 ~]# 解压nginx（别拷贝。不能运行的）
[root@vm1 ~]# ./configure –prefix=/usr/nginx-1.8.0 
[root@vm1 ~]# make && make install 
[root@vm1 ~]# 环境变量设置（别拷贝。不能运行的）
[root@vm1 ~]# 启动nginx

=============打开Nginx所在server的“路由”功能、关闭“ARP查询”功能

[root@vm1 ~]# echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@vm1 ~]# echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@vm1 ~]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@vm1 ~]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

=============设置回环IP

[root@vm1 ~]# ifconfig lo:0 192.168.220.140 broadcast 192.168.220.140 netmask 255.255.255.255 up
[root@vm1 ~]# route add -host 192.168.220.140 dev lo:0

两台Nginx的节点都依照这个方案去设置。然后使用浏览器，看看这两个节点的Nginx是否工作正常：

技术分享

=====

技术分享

2-4、其它说明

keepalived和LVS是天生配合完美的一对，LVS负责进行请求转发不负责不论什么节点的健康监測；keepalived负责监控整个环境中，包含虚拟ip，真实ip相应的下层节点的健康状态监測。

3、開始配置：LVS-DR工作模式

3-1、keepalived的更改——健康监測

首先我们要更改之前配置的“最简keepalived”配置。让keepalived能够对结构中全部节点和虚拟ip的健康状态进行监測。更改配置和含义例如以下：

! Configuration File for keepalived

global_defs {
   #notification_email {
   #  acassen@firewall.loc
   #  failover@firewall.loc
   #  sysadmin@firewall.loc
   #}
   #notification_email_from Alexandre.Cassen@firewall.loc
   #smtp_server 192.168.200.1
   #smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    #141节点设置为MASTER，142或者还有其它的节点设置为BACKUP
    #还记得我们前面文章讲到的无抢占设置吗？这里也能够用哦。
    state MASTER
    #网络适配器名称
    interface eth0
    virtual_router_id 51
    #全部的SLAVE节点的优先级都要比这个设置值低
    priority 120
    advert_int 1
    #真实ip，142要改成相应的lvs节点真实ip
    mcast_src_ip=192.168.220.141
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #虚拟/浮动IP
    virtual_ipaddress {
        192.168.220.140
    }
}

virtual_server 192.168.220.140 80 {
    #健康时间检查，单位秒
    delay_loop 6
    #负载均衡调度算法wlc|rr。和您将使用的LVS的调度算法保持原则一致
    lb_algo rr
    #负载均衡转发规则 DR NAT TUN。和您将启动的LVS的工作模式设置一致
    lb_kind DR
    #虚拟地址的子网掩码
    nat_mask 255.255.255.0
    #会话保持时间，由于我们常常使用的是无状态的集群架构。所以这个设置可有可无
    #persistence_timeout 50
    #转发协议。当然是TCP
    protocol TCP

    #真实的下层Nginx节点的健康监測
    real_server 192.168.220.131 80 {
        #节点权重，
        weight 10
        #设置检查方式，能够设置HTTP_GET | SSL_GET
        HTTP_GET {
            url {
              path /
              digest ff20ad2481f97b1754ef3e12ecd3a9cc
            }
            #超时时间，秒。假设在这个时间内没有返回，则说明一次监測失败
            connect_timeout 3
            #设置多少次监測失败，就觉得这个真实节点死掉了
            nb_get_retry 3
            #重试间隔
            delay_before_retry 3
        }
    }

    real_server 192.168.220.132 80 {
        weight 10
        HTTP_GET {
            url {
              path /
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

这样一来，keepalived就能够检查整个架构中的全部节点状态了。

另外要说明的是，这个检查过程并非必须的，您使用keepalived的最简配置也是能够的，只是您就须要自己写监測脚本了（道理是一样的）。

3-2、启动两个LVS节点

启动LVS的过程就太简单了（两个节点都是一样的启动方式）：

[root@lvs2 ~]# ipvsadm -C
[root@lvs2 ~]# ipvsadm -At 192.168.220.140:80 -s rr 
[root@lvs2 ~]# ipvsadm -at 192.168.220.140:80 -r 192.168.220.131 -g
[root@lvs2 ~]# ipvsadm -at 192.168.220.140:80 -r 192.168.220.132 -g
[root@lvs2 ~]# 然后我们能够使用ipvsadm 监控眼下LVS的状态
[root@lvs2 ~]# ipvsadm

注意：处于standby的lvs1节点也要这样进行设置。


还有。以上的LVS的设置，和real server上的设置。在重新启动后都会消失，所以一定要做成脚本哦。

4、验证工作

这样LVS + Keepalived + Nginx方式的配置就做完了。

如今我们进行搭建效果的监測：

4-1、验证Master-LVS节点的工作

我们使用两个不同的浏览器，验证Master-LVS节点的工作：

=========浏览器1：
技术分享

=========浏览器2：
技术分享

看来140这个VIP下的LVS工作是正常的。

4-2、验证Master-LVS节点停止后的效果

以下我们停止Master-LVS1：

[root@lvs2 ~]# service keepalived stop

在经历了一些訪问停顿后，浏览器1显示的效果例如以下（这就是为什么keepalived最好设置为非抢占模式）：

技术分享

5、后文介绍

好了，到这里负载均衡层所使用的几个标准工具就介绍完了。下一篇文章我们将进行总结。然后进入架构设计：业务层设计方案 的系列文章。在下一个系列文章中，我们将介绍至少两套SOA的实现、至少两套系统间通信使用的消息队列。哦。应我朋友的要求，我会专门写几篇文章，介绍java中线程的基础知识和进阶知识。

架构设计：负载均衡层设计方案（7）——LVS + Keepalived + Nginx安装及配置

标签：centos   daemon   link   处理   rac   队列   const   src   path   

原文地址：http://www.cnblogs.com/mfmdaoyou/p/6916436.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！