码迷，mamicode.com
首页 > 其他好文 > 详细

RabbitMQ集群搭建-镜像模式

时间：2020-10-06 20:40:24      阅读：24      评论：0      收藏：0      [点我收藏+]

标签：cal   情况   cookie   rac   ng2   第一个   plugin   ref   最新   

服务器介绍

node1：192.168.174.10
node2：192.168.174.11
node3：192.168.174.12
node4：192.168.174.13
node5：192.168.174.14
其中，node1、node2、node3三台服务器安装RabbitMQ服务，node4和node5安装HA-proxy和Keepalived。

服务集群架构

  • HA-proxy


     
    技术图片
    Haproxy 介绍

以常见的TCP应用为例，负载均衡器在接收到第一个来自客户端的SYN请求时，会通过设定的负载均衡算法选择一个最佳的后端服务器，同时将报文中目标IP地址修改为后端服务器IP，然后直接转发给该后端服务器，这样一个负载均衡请求就完成了。从这个过程来看，一个TCP连接是客户端和服务器直接建立的，而负载均衡器只不过完成了一个类似路由器的转发动作。在某些负载均衡策略中，为保证后端服务器返回的报文可以正确传递给负载均衡器，在转发报文的同时可能还会对报文原来的源地址进行修改。整个过程下图所示

 
技术图片
 

Haproxy 的特点是：高可用，负载均衡。

  • KeepAlived


     
    技术图片
    KeepAlived 介绍

KeepAlived 的特点：通过VRRP协议（虚拟ip）实现高可用功能（主备切换）。

 
技术图片
KeepAlived 高可用原理

注意：master节点恢复时，是否重新接管master角色，看我们自己的配置，后面配置KeepAlived会讲。

  • 镜像模式
    镜像模式，是中小型企业常用的rabbitmq集群架构：
     
    技术图片
    镜像模式架构图

    消息的发布（除了Basic.Publish之外）与消费都是通过master节点完成。master节点对消息进行处理的同时将消息的处理动作通过GM（Guarenteed Multicast）广播给所有的slave节点，slave节点的GM收到消息后，通过回调交由mirror_queue_slave进行实际的处理。
    镜像模式流程：程序（Springboot Application）通过访问 KeepAlived 提供的VIP（虚拟ip）指定到其中一个HA-proxy，然后 HA-proxy将访问请求代理到其管理的三个（或多个）rabbitmq server 中的一个，从而实现了高可用、负载均衡的功能。

RabbitMQ主从配置

  • RabbitMQ安装（node1,node2,node3）
    首先配置5个服务器hosts文件：
192.168.174.10  node1
192.168.174.11  node2
192.168.174.12  node3
192.168.174.13  node4
192.168.174.14  node5

1、安装gcc环境

yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel libxml2-utils libxml2 libxslt openssl-devel unixODBC unixODBC-devel unixODBC-bin gtk2 fop gtk2-devel binutils-devel mesa-libGLU-devel yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel libxml2-utils libxml2 libxslt openssl-devel unixODBC unixODBC-devel unixODBC-bin gtk2 fop gtk2-devel binutils-devel mesa-libGLU-devel

2、安装erlang
下载地址为：http://www.erlang.org/downloads，我这里下载的是otp_src_20.1.tar.gz
解压、配置、编译：

tar -xvf otp_src_20.1.tar.gz
cd otp_src_20.1
./configure --prefix=/usr/local/erlang20 --without-javac
make && make install

如果报 Java compiler disabled by user 错误，则去掉--without-javac
3、安装 RabbitMQ
安装 python

yum install python -y

安装 simplejson

yum install xmlto -y
yum install python-simplejson -y

rabbitmq下载地址：http://www.rabbitmq.com/download.html，我这里下载的是rabbitmq-server-generic-unix-3.6.14.tar
解压，并移至/usr/local/rabbitmq

tar -xvf rabbitmq-server-generic-unix-3.6.14.tar
mv rabbitmq_server-3.6.14 /usr/local/rabbitmq

设置环境变量

export PATH=$PATH:/usr/local/erlang20/bin:/usr/local/rabbitmq/sbin
source /etc/profile

启动rabbitmq

./rabbitmq-server &
加上& 就是后台启动，./rabbitmqctl stop 为停止服务

设置guest可以远程连接
修改rabbitmq的配置/usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config(没有就新建)
添加：

[{rabbit, [{loopback_users, []}]}].

启用管理控制台

./rabbitmq-plugins enable rabbitmq_management

重启 rabbitmq，打开浏览器访问:http://node1:15672，用户名guest，密码guest。node2和node3安装略。

 
技术图片
rabbitmq 管理台

 

  • RabbitMQ集群配置
    我们这里以node1为master节点，node2和node3为slave节点。
    1、停止MQ服务

rabbimqctl stop

2、复制node1节点的/root/.erlang.cookie文件到其他节点，并覆盖

scp /root/.erlang.cookie root@node2:~
scp /root/.erlang.cookie root@node3:~

3、启动集群

rabbitmq-server -datached

4、slave 加入集群，对node2和node3分别执行下面操作

rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@node1
rabbitmqctl start_app

如果需要移除集群节点，执行下面命令：

rabbitmqctl forget_cluster_node rabbit@node2(具体节点)

5、修改集群名称（任意一个节点操作，默认为master node名称）

rabbitmqctl set_cluster_name rabbitmq_cluster1

6、查看集群状态（任意一个节点操作）

rabbitmqctl cluster_status

7、设置镜像队列策略(任意一个节点操作)

rabbitmqctl set_policy ha-all "^" ‘{"ha-mode":"all"}‘

将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态一致。
此时看rabbitmq管控台，Nodes会有三个节点：


 
技术图片
rabbitmq 集群

安装 Haproxy（node4和node5）

1、下载依赖包

yum install gcc

2、下载haproxy

yum install haproxy -y

3、编辑 haproxy 配置文件

vi /etc/haproxy/haproxy.cfg

新增listen内容，根据实际情况，修改default内容：

#logging options
global
    log 127.0.0.1 local0 info
    maxconn 5120
    chroot /usr/local/haproxy
    uid 99
    gid 99
    daemon
    quiet
    nbproc 20
    pidfile /var/run/haproxy.pid
    
defaults
    log global
    # 使用四层代理模式,"mode http" 为7层代理模式
    mode tcp
    # if you set mode to tcp,then you must change tcplog into httplog
    option tcplog
    option dontlognull
    retries 3
    option redispatch
    maxconn 2000
    contimeout 5s
    # 客户端空闲超时时间为60秒，过了该时间，HA发起重连机制
    clitimeout 60s
    # 服务端连接超时时间为15秒，过了该时间，HA发起重连机制
    srvtimeout 15s

listen rabbitmq_cluster
    # 定义监听地址和端口，本机的5672端口
    bind 0.0.0.0:5672
    # 配置 tcp 模式
    mode tcp
    # balance url_param userid
    # balance url_param session_id check_post 64
    # 简单的轮询
    balance roundrobin
    #rabbitmq集群节点配置 #inter 每隔五秒对mq集群做健康检查，2次正确证明服务器可用，
    #2次失败证明服务器不可用，并且配置主备机制
    server node1 192.168.174.10:5672 check inter 5000 rise 2 fall 2
    server node2 192.168.174.11:5672 check inter 5000 rise 2 fall 2
    server node3 192.168.174.12:5672 check inter 5000 rise 2 fall 2
        
# 配置 haproxy web 监控，查看统计信息
listen stats
    bind *:8100
    mode http
    option httplog
    stats enable
    # 设置 haproxy 监控地址为：http://localhost:8100/rabbitmq-stats
    stats uri /rabbitmq-stats
    stats refresh 5s

4、启动haproxy

haproxy -f /etc/haproxy/haproxy.cfg

重启haproxy：service haproxy restart
至此，haproxy配置成功，可以访问：http://192.168.174.13:8100/rabbitmq-stats，可以看到：

 
技术图片
haproxy 监控台

 

安装 Keepalived（node4和node5）

我这里将node4作为keepalived的主节点，node5为备用节点。并且node4宕机恢复服务后，需要抢回VIP。
1、安装所需软件包

yum install -y openssl openssl-devel

2、下载 keepalived

wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz

3、解压、编译、安装

tar -xvf keepalived-1.2.18.tar.gz
cd keepalived-1.2.18
./configure --prefix=/usr/local/keepalived
make && make install

4、创建文件夹，将keepalived配置文件进行复制

mkdir /etc/keepalived
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig

5、创建软连接，如果存在则进行删除

ln -s /usr/local/sbin/keepalived /usr/sbin
ln -s /usr/local/keepalived/sbin/keepalived /sbin

6、设置开机启动

chkconfig keepalived on

7、编辑 keepalived 配置文件

vi /etc/keepalived/keepalived.conf

node4的内容如下：

! Configuration File for keepalived

global defs {
    router_id node4 ##标识节点的字符串，通常为hostname
}

vrrp_script chk_haproxy{
    script "/etc/keepalived/haproxy_check.sh"   ## 执行脚本位置
    interval 2  ##检查时间间隔
    weight -20 ##如果条件成立则权重减20
}

vrrp_instance VI_1 {
    state MASTER##主节点为MASTER,备份节点为BACKUP
    interface ens33 ##绑定虚拟ip的网络接口(网卡)
    virtual_router_id 13    ##虚拟路由id号，主备节点相同
    mcast_src_ip 192.168.174.13 ##本机ip地址
    priority 100    ##优先级(0-254)
    nopreempt
    advert_int 1    ##组播信息发送间隔，两个节点必须一致,默认1s
    authentication {    ##认证匹配
        auth_type PASS
        auth_pass bhz
    }
    track_script {
        chk_haproxy
    }
    virtual_ipaddress {
        192.168.174.70 ##虚拟ip,可以指定多个
    }
}

node5的内容如下：

! Configuration File for keepalived

global defs {
    router_id node5 ##标识节点的字符串，通常为hostname
}

vrrp_script chk_haproxy{
    script "/etc/keepalived/haproxy_check.sh"   ## 执行脚本位置
    interval 2  ##检查时间间隔
    weight -20 ##如果条件成立则权重减20
}

vrrp_instance VI_1 {
    state BACKUP ##主节点为MASTER,备份节点为BACKUP
    interface ens33 ##绑定虚拟ip的网络接口(网卡)
    virtual_router_id 13    ##虚拟路由id号，主备节点相同
    mcast_src_ip 192.168.174.14 ##本机ip地址
    priority 90 ##优先级(0-254)
    nopreempt
    advert_int 1    ##组播信息发送间隔，两个节点必须一致,默认1s
    authentication {    ##认证匹配
        auth_type PASS
        auth_pass bhz
    }
    track_script {
        chk_haproxy
    }
    virtual_ipaddress {
        192.168.174.70 ##虚拟ip,可以指定多个
    }
}

vrrp_instance 的 interface 为VIP需要挂载的网卡上，我这里都放在虚拟机的ens33上。 node4 的 state 为 MASTER，node5 为 BACKUP ，priority 要保证node4大于node5，这样就能实现node4宕机之后恢复服务，能够从node5抢回VIP；如果需要实现不抢回VIP,则node4和node5的state都设置为BACKUP，并且vrrp_instance 都添加nopreempt，表示不抢夺VIP（实际上已经加了）。
8、添加执行脚本 haproxy_check.sh

vi /etc/keepalived/haproxy_check.sh

内容如下（node4和node5一样）：

#!/bin/bash
COUNT = `ps -C haproxy --no-header | wc -l`
if [$COUNT -eq 0];then
    /usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
    sleep 2
    if[`ps -C haproxy --no-header | wc -l` -eq 0];then
        killall keepalived
    fi
fi

9、赋予脚本执行权限

chmod +x haproxy_check.sh

10、启动keepalived

service keepalived start

至此，基于Keepalived和Haproxy的rabbitmq集群，已经搭接完成。
下面我们来测试下keepalived的VIP切换：
当node4和node5都成功启动keepalived时，我们使用命令ip a查看当前服务器的ip：
node4:


 
技术图片
node4 master

node5:


 
技术图片
node5 backup

此时,VIP落在了node4上，所以node4为master节点，node5为备用节点。
现在，我们让node4的keepalived宕机：
 
技术图片
node4 宕机

node5：
 
技术图片
node5 夺取vip

当node4的keepalived宕机之后，VIP就被node5拿去了，这样就实现了主备切换的功能。
现在我们让node4的keepalived服务恢复：


 
技术图片
node4 恢复服务

当node4恢复服务时，它就会从node5中夺回VIP，重新作为MASTER节点。

集群恢复与故障转移

场景1：


 
技术图片
场景1

由于节点B是后停的，所以数据是最新的，并且B是Mater节点。所以先启动B，再启动A即可；如果A（slave）先启动，它会有30s的等待时间，等待master的启动，然后加入cluster中（如果30s内master没有启动，slave会自动停止）。
场景2：


 
技术图片
场景2

当所有节点因故障（断电等）同时离线时，每个节点都认为自己不是最后一个停止的节点。要恢复镜像队列，可以尝试在30s之内启动所有节点。
场景3：
 
技术图片
场景3

由于A无法恢复，于是需要弃用A，因为B是Master并且是可以恢复的，于是我们可以启动B，然后执行：rabbitmqctl forget_cluster_node A，解除与A的cluster关系。再将新的slave节点加入B即可重新恢复镜像队列。
场景4：


 
技术图片
场景4

由于B是Master，但是无法启动，于是作为Slave的A，也是无法启动的。因为如果slave在30s内没有监听到master的信息，则会自行断开。所以，我们需要线下去掉B，执行：rabbitmqctl forget_cluster_node B --offline。
场景5：
 
技术图片
场景5

由于A、B都无法恢复，于是我们都得弃用。我们拿到A或者B的磁盘文件，copy到新的服务器对应的目录下。
场景6：
 
技术图片
场景6


作者：habit_learning
链接：https://www.jianshu.com/p/5b2879fba25b
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

RabbitMQ集群搭建-镜像模式

标签：cal   情况   cookie   rac   ng2   第一个   plugin   ref   最新   

原文地址：https://www.cnblogs.com/cheyunhua/p/13772623.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！