新东方的负载均衡架构探索和实践

大家好！话说加入Rancher官方微信群也有三年多了，每天在群里看着大家讨论技术问题给我很多启发 。 我今天也来和大家分享一下我在rancher上的一些实践，希望能为各位的实践提供一些参考。

为了避免大家歧义，下面说的Rancher指的Rancher 1.6 上的cattle引擎。

Rancher是一个对用户很友好的产品，吸引了大批的用户和粉丝。在实际落地过程中，大家可能已经注意到Rancher组件之间的耦合存在单点。那么如何部署才能提高Rancher的可用性和可扩展性呢？Rancher在官方文档中给出了一些指导方案，用户可以根据自己的需要选择合适的方案落地。我今天和大家分享的是新东方在Rancher全组件负载均衡架构的实践，供大家在探索自己的高可用方案时做个参考。

Rancher 1.6是一套小巧而实用的容器管理平台，我个人认为Rancher的定位应该是容器编排引擎的后台支撑系统， 或者说是编排引擎的系统，因此Rancher1.6的架构并不是分布式架构，而是传统的C/S架构。 无数的client(agent)连接到一个中心的Server ，中心的Server连接一个数据库做持久化。这种架构就必然会涉及一个老话题，如何增强C/S之间的高可用性、可扩展性和解耦问题。我今天和大家聊内容是：Rancher 1.6 全组件负载均衡设计。

一般Rancher的简单部署方案是这样的：

一个server，一些节点 ，一个mysql数据库。从这张图上就可以发现Rancher在部署上的一些问题：

1. SPOF问题，Server的单点，数据库的单点等。

2. 扩展性问题，单server能带动的client数量有限。

3. 强耦合问题，server 写死数据库地址，client写死server地址等等。

总结下来就是下面这个图

下面就对这个架构进行优化，我们的目标是达到Server/Client 和数据库三个组件的自由扩展，如何做到呢？ Rancher官方文档中已经给了答案，只需要在C/S 中间增加一层负载均衡方案，在数据库一侧增加高可用方案即可。

总体架构就演变为这样：

我们看到，Server一侧使用Rancher Server HA方案，将server扩展为多个。 

中间增加一层负载均衡，这个负载均衡常见的私有云方案有LVS+Nginx或者F5， 在公有云中可以使用阿里云的SLB或者AWSELB等等。Rancher的数据量并不算太大，可以简单的使用Mysql的主从方案。

优化到这步已经可以满足日常工作需要了，这里大家会注意到mysql主从还是会影响server的可靠性。 一旦出现主库问题，Mysql切换的时候server肯定就down了， 切换也需要一定的时间，启动后还需要重启server等等。如果希望更进一步提高server的可靠性，或者希望数据库切换对Rancher Server透明，那就需要使用更高级的数据库高可用方案。

我们的DBA推荐使用Maxscale中间件+Galera 集群的方案， Galera为多主库的分布式数据方案，发生写入操作后Galera会同步数据到其他数据库中，直到同步都完成后返回完成写入操作。MaxScale是数据库中间件，它通过解析mysql协议判断读写操作，可以将读写操作分离。一旦数据库发生故障整个数据库集群的切换对外界是无感知的。 

这个方案的部署图是这样的：

每个组件都介绍一下， 负载均衡采用互联网最常用的LVS-DR+Nginx方案。数据库采用Galera集群做多主库的数据库复制，通过Maxscale中间件来做高可用和读写分离。

这就是我们现在最终的架构， 这个架构的好处有几点：

1. 可靠性大大增加， 所有组件都可以扩展，server， client，数据库和负载均衡本身。

2. 每个组件的扩展并不影响其他组件，所有组件的扩展都可以在线进行。

3. 配置解耦，通过域名映射的方式，server连接数据库的域名映射为maxsacle中间件的ip， client连接server的域名映射为负载均衡的Vip。

4. 故障切换透明，对其他组件无感知。数据库故障，server故障都可以在线解决，解决后重新加入集群。

顺便提一下，这个架构中的数据库部分还可以进一步优化为：

C. Nginx节点配置 

Nginx节点配置分为两部分：

1. 虚拟IP(VIP)设置到回环设备上（lo），当接收到lvs发来的包后本机网卡才会处理这些包。

   
   

    2. 设置Nginx的Websocket转发到rancher server的8080端口上。

VIP配置在lo上的配置：

下面设置Nginx的Websocket转发到Rancher server的8080端口上。 安装nginx过程略过，在conf.d中增加虚拟主机配置。 vi /usr/local/nginx/conf/conf.d/rancher.conf

galera配置

执行：

建立cattle数据库和用户（连接任何一个galera实例执行）：

参考资料： 

https://www.jianshu.com/p/772e17c10e08

https://rancher.com/docs/rancher/v1.6/en/installing-rancher/installing-server/#single-container-external-database

https://linux.cn/article-5767-1.html#3_2234

数据库准备好了，下面就可以启动server了。启动过程非常简单，只需要修改rancher server的启动参数如下：

这样一个完整的负载均衡的Rancher就搭建完成了。

现在说最后一个话题，应用交付和负载均衡。 所谓应用交付说的是如何将Rancher上的一个应用公布到公网上给用户使用。为了能在前方接住大量的用户请求，一般都会统一搭建站点级别的入口负载均衡。示意图如下：

如图所示，用户请求从公网进来后，通过各路ISP接入设备到达站点边缘，连接通过各种防御设备到达入口负载均衡（LVS+Keepalived+Nginx），再由入口负载均衡统一代理到内部源站点上，这就是常见的应用交付过程。

在Rancher上的应用对接入口负载均衡一般采用Traefik， Traefik是一个容器化7层代理软件，性能接近Nginx。 之前群里也有多位大拿分享过Traefik的应用， 我这里就不重复介绍了，大家可以参考爱医康架构师张新峰的分享：《关于高可用负载均衡的探索》

我下面要讲的是 traefik与 LVS+Nginx负载均衡的对接和我对traefik的一些实践。

利用traefik交付应用的整个过程我总结为下图：

在Labels中增加label，增加这个label后traefik就会自动运行在这台host上。

在 Required Container Label 中随便增加一个lable不用给值， 我这里写的cn.xdf.edge

配置说明如下：

好了启动traefik后，容器已经在edge Host 上启动了！

登陆管理界面看看：

假设现在要把mydockerapp04.myxdf.com这个域名的应用发布出去。 首先将mydockerapp04.myxdf.com这个域名匹配到对应的Rancher stack上面去。

label加入后应用就发布到traefik中了。

在站点入口负载均衡上做转发配置，转发到treafik边界节点。 负载均衡上所有源站都是通过80端口转发，通过设置不通的server_name来区分转发目的地。将server_name设置为*.myxdf.com 。意思是所有 myxdf.com的二级域名全部转发给traefik，这样做是为了跳过在入口负载均衡上配置明细转发规则（比如mydockerapp01转发到哪里这样的一条一条的规则），所有明细的转发规则全部交给traefik来管理。

 这样做有很大的优势，我们之前也看到了traefik设置转发规则非常简单，只需要在容器或者ranhcer lb上打label即可。如果需要修改或者删除规则，也只需要修改或删除对应的label即可，管理灵活又免去了每次都要手动到入口负载均衡上刷新配置的麻烦。

Nginx配置如下：

在DNS上添加域名指向, 这里就没有办法偷懒了，需要把所有明细域名都写上。