标签：发送 扩展性 oss nat原理 定义 backup 优化 firewalld loop
一、负载均衡LVS基本介绍LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目，它的官方网站是 http://www.linuxvirtualserver.org。 LVS是Linux内核标准的一部分。LVS是一个实现负载均衡集群的开源软件项目，通过 LVS 的负载均衡技术和 Linux操作系统可以实现一个高性能高可用的 Linux 服务器集群，它具有良好的可靠性、可扩展性和可操作性。LVS架构从逻辑上可分为调度层、Server集群层和共享存储。LVS实际上相当于基于IP地址的虚拟化应用。
LVS 由2部分程序组成，包括 ipvs 和 ipvsadm。
LVS负载均衡常见的有三种工作模式，分别是地址转换（简称NAT模式）、IP隧道（简称TUN模式）和直接路由（简称DR模式），其实企业中最常用的是 DR 实现方式，而 NAT 配置上比较简单和方便，下面总结 DR 和 NAT 原理和特点：
类似于防火墙的私有网络结构，Director Server作为所有服务器节点的网关，，即作为客户端的访问入口，也是各节点回应客户端的访问出口，其外网地址作为整个群集的VIP地址，其内网地址与后端服务器Real Server在同一个物理网络，Real Server必须使用私有IP地址。
数据包流向分析
用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。
内核空间判断数据包的目标IP是本机，此时IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，重新封装数据包（源IP为CIP，目标IP为RIP），然后选路将数据包发送给Real Server。
Real Server比对发现目标IP是本机的IP，重新封装报文（源IP为RIP，目标IP为CIP）发回给Director Server。
RS必须使用私有IP地址，网关指向DIP。
DIP与RIP必须在同一网段内。
DS作为所有服务器节点的网关，也就是说请求和响应报文都需要经过Director Server。
支持端口映射
Director Server作为群集的访问入口，但不作为网关使用，后端服务器池中的Real Server与Director Server在同一个物理网络中，发送给客户机的数据包不需要经过Director Server。为了响应对整个群集的访问，DS与RS都需要配置有VIP地址。
数据包流向分析
用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。
LVS-DR模式需要注意的是：
保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS。
解决方案是：修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。
arp_ignore=1表示系统只响应目的IP为本地IP的ARP请求。
最常用的有四种；轮询（rr）、加权轮询(wrr)、最少连接(lc)和加权最少连接(wlc)。
为后端真实服务器提供稳定、一致的文件存取服务，在Linux/Unix环境中，共享存储可以使用NAS设备或者提供NFS（网络文件系统）共享服务的专用服务器。一般放在私有网络中。
IP地址规划
客户端访问服务的请求IP地址：VIP 12.0.0.1
| Server | IP | 系统 |
|---|---|---|
| Director Server | DIP 192.168.10.1 | CentOS7 |
| NFS Server | 192.168.10.50 | RedHat6 |
| Real Server1 | RIP 192.168.10.51 | CentOS7 |
| Real Server2 | RIP 192.168.10.52 | CentOS7 |
在配置的Director的服务器上添加两块网卡，详细步骤可参考DNS分离解析这篇博文有介绍，设置外网ens37为VIP，内网ens33为DIP，把两个 real server 的网关设置为 Director 的内网 iP即DIP。
在虚拟机的配置中DIP网络连接方式设置为仅主机模式，Real Server也配置为仅主机模式。
yum安装软件
方法一：如果虚拟机网络是仅主机模式，没有网络，可以本地创建yum仓库，然后进行yum安装。
方法二：如果虚拟机网络是NAT模式，有网络，可以在线yum安装。
yum install nfs-utils -y #7系统版本需要安装nfs工具包
service rpcbind start
service nfs restart#创建共享目录
mkdir /opt/wwwroot1
mkdir /opt/wwwroot2
#给共享目录写入权限
chmod 777 /opt/wwwroot1
chmod 777 /opt/wwwroot2
#编辑配置文件
vim /etc/exports
/opt/wwwroot1 192.168.10.0/24(rw,sync)
/opt/wwwroot2 192.168.10.0/24(rw,sync) #发布共享
exportfs -rv#关闭防火墙
service iptables stop#安装nfs客户端
yum install nfs-utils -y
systemctl start rpcbind.service
systemctl start nfs.service#查看nfs挂载
showmount -e 192.168.10.50#挂载nfs
#Real Server1挂载nfs
#法一：直接挂载
mount.nfs 192.168.10.50:/opt/wwwroot1 /var/www/html
#法二：修改fatab文件挂载
vim /etc/fstab
192.168.10.50:/opt/wwwroot1 /var/www/html nfs defaults,_netdev 0 0
#Real Server2挂载nfs
方法同Real Server1,将挂载目录/opt/wwwroot1改成/opt/wwwroot2,其余一样。
#安装httpd
yum install httpd -y#real server1创建测试网页
echo "Server 192.168.10.51" > /var/www/html/index.html
#real server2创建测试网页
echo "Server 192.168.10.52" > /var/www/html/index.html#启动httpd服务
systemctl start httpd.service
systemctl enable httpd.service #关闭防火墙和安全性策略
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0#测试网页打开是否正常
firefox http://127.0.0.1/
#安装ipvsadm管理工具
yum install ipvsadm -y#加载LVS内核模块
modprobe ip_vs
#查看ip_vs版本信息
cat /proc/net/ip_vs 
#开启路由转发
#法一：编辑sysctl.conf文件，永久路由转发
vim /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p
#法二：直接编辑,临时路由转发
echo "1" > /proc/sys/net/ipv4/ip_forward#配置SNAT转发规则,设置nat防火墙
iptables -F -t nat #清空nat防火墙
iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o ens37 -j SNAT --to-source 12.0.0.1#Director 上编辑 nat 实现负载分配脚本
# 设置 ipvsadm
vim nat.sh
#!/bin/bash
ipvsadm-save > /etc/sysconfig/ipvsadm #保存策略
service ipvsadm start
ipvsadm -C #清除内核虚拟服务器表中的所有记录
ipvsadm -A -t 12.0.0.1:80 -s rr #创建虚拟服务器
ipvsadm -a -t 12.0.0.1:80 -r 192.168.10.51:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.10.52:80 -m
ipvsadm
ipvsadm管理工具的选项用法：
- -A: 表示添加虚拟服务器
- -t: 用来指定VIP地址及TCP端口
- -s: 用来指定负载均衡调度算法
- -a: 表示添加真实服务器
- -r: 用来指定RIP地址及TCP端口
- -m: 表示使用NAT群集模式
- -g: 表示使用DR群集模式
- -i: 表示使用TUN群集模式
- -w: 用来设置权重
#保存nat脚本后直接运行
chmod +x nat.sh
./nat.sh
#查看ipvsadm设置的规则
ipvsadm -ln
用Windows客户端直接访问http://12.0.0.1， 将能够看到由真实服务器提供的网页内容。
第一次访问：
Real Server连接次数查看：
刷新一次：
Real Server连接次数查看：
四台机器：
Director节点： (ens33 192.168.10.53 vip ens33:0 192.168.10.80)
Real server1： (ens33 192.168.10.51 vip lo:0 192.168.10.80)
Real server2： (ens33 192.168.10.52 vip lo:0 192.168.10.80)
NFS Server: 192.168.10.50
步骤如上
#配置虚拟IP地址
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.10.80
NETMASK=255.255.255.255 #子网掩码必须全为1
ONBOOT=yes
ifup lo:0 
#安装nfs客户端
yum install nfs-utils -y
service rpcbind start
service nfs restart#查看nfs挂载
showmount -e 192.168.10.50#挂载nfs
#Real Server1挂载nfs
#法一：直接挂载
mount.nfs 192.168.10.50:/opt/wwwroot1 /var/www/html
#法二：修改fatab文件挂载
vim /etc/fstab
192.168.10.50:/opt/wwwroot1 /var/www/html nfs defaults,_netdev 0 0
#Real Server2挂载nfs
方法同Real Server1,将挂载目录/opt/wwwroot1改成/opt/wwwroot2,其余一样。
#安装httpd
yum install httpd -y#real server1创建测试网页
echo "Server 192.168.10.51" > /var/www/html/index.html
#real server2创建测试网页
echo "Server 192.168.10.52" > /var/www/html/index.html#启动httpd服务
systemctl start httpd.service
systemctl enable httpd.service #关闭防火墙和安全性策略
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0#在两台real server上配置启动脚本
vim /etc/init.d/rs.sh
#!/bin/bash
VIP=192.168.10.80
case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0 #为本机添加一条路由记录
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK "
;;
stop)
ifconfig lo:0 down
route del $VIP /dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stopd"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
#保存后直接运行脚本
chmod +x rs.sh
service rs.sh start先在本机上自测一下访问网页：
#配置虚拟IP地址
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.80
NETMASK=255.255.255.0
ifup ens33:0 
#安装ipvsadm
yum install ipvsadm -y
vim /etc/sysctl.conf
#开启路由功能
net.ipv4.ip_forward=1
#调整/proc响应参数，关闭Linux内核重定向参数响应
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p 配置启动脚本
vim /etc/init.d/dr.sh
#!/bin/bash
GW=192.168.10.1
VIP=192.168.10.80
RIP1=192.168.10.51
RIP2=192.168.10.52
case "$1" in
start)
/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
/sbin/route add -host $VIP dev ens33:0
/sbin/ipvsadm -A -t $VIP:80 -s rr
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
echo "ipvsadm starting --------------------[ok]"
;;
stop)
/sbin/ipvsadm -C
systemctl stop ipvsadm
ifconfig ens33:0 down
route del $VIP
echo "ipvsamd stoped----------------------[ok]"
;;
status)
if [ ! -e /var/lock/subsys/ipvsadm ];then
echo "ipvsadm stoped---------------"
exit 1
else
echo "ipvsamd Runing ---------[ok]"
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0
chmod +x /etc/init.d/dr.sh
service dr.sh start#关闭防火墙和安全策略
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0用Windows客户端直接访问 http://192.168.10.80/, 将能够看到由真实服务器提供的网页内容。
第一次访问：
Real Server连接次数查看：
刷新一次：
Real Server连接次数查看：
LVS可以实现负载均衡，但是不能够故障切换和健康检查，也就是当一个rs服务器出现故障时，LVS仍然会把请求转发给故障的rs服务器，这样就会导致请求无效。keepalive软件可以解决 LVS 单点故障的问题,能同时实现 LVS 的高可用性。这里以LVS-DR模式为例。
五台机器：
在实现LVS的DR模式前提下，在两个Director Server 节点服务器部署keepalived服务。
#安装keepalive软件
yum install keepalived -y主keepalived节点配置（lvs1）
#主节点( MASTER )配置文件
vim /etc/keepalived/keepalived.conf
global_defs {
... #省略部分
smtp_server 127.0.0.1 #指向本地
router_id LVS_01 #指定名称,备份服务器不同名称
... #省略部分
}
vrrp_instance VI_1 { #定义VRRP热备实例
state MASTER #MASTER表示主调度器
interface ens33 #承载VIP地址的物理接口
virtual_router_id 51 #虚拟路由器的ID号，每个热备组保持一致
priority 100 #主调度器优先级
advert_int 1 #通告间隔秒数
authentication { #认证信息
auth_type PASS #认证类型
auth_pass 1111 #字码密串
}
virtual_ipaddress { #指定群集VIP地址，也就是漂移地址
192.168.10.80
}
}
virtual_server 192.168.10.80 80 { #虚拟服务器VIP地址
delay_loop 6 #健康检查的间隔时间
lb_algo rr #轮询rr的调度算法
lb_kind DR #直接路由工作模式
persistence_timeout 0 #连接保持时间
protocol TCP #应用服务采用的是TCP协议
real_server 192.168.10.51 80 {
#第一个web节点的服务器地址、端口
weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.10.52 80 {
#第二个web节点的服务器地址、端口
router_id LVS_01 weight 1
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
从keepalived节点配置（lvs2）
拷贝主节点的配置文件keepalived.conf，然后修改如下内容：
router_id LV -> router_id LVS_02 #从调度器名称
state MASTER -> state BACKUP #从调度器
priority 100 -> priority 90 #从调度器优先级启动keepalive
#先主后从分别启动keepalive
systemctl start keepalived.service
systemctl status keepalived.service（1）虚拟IP地址漂移
首先在master(lvs1)上执行命令 ip addr ，可以看到vip在master节点上的；
这时如果在master上执行 systemctl stop keepalived.service命令，这时vip已经不在master上，在slave节点上执行 ip addr 命令可以看到 vip 已经正确漂到slave节点。这时客户端去访问http://192.168.10.80 访问依然正常。
systemctl stop keepalived.service #在lvs1主调度器上停止keepalived服务
（2）连通性
在客户机执行“ping 192.168.10.80 -t”,能够正常ping通。
禁用master(lvs1)的ens33网卡，发现还是能正常ping通的。
（3）web访问测试
禁用master(lvs1)的ens33网卡，再次访问上述web服务，网页文档显示正常。
标签：发送 扩展性 oss nat原理 定义 backup 优化 firewalld loop
原文地址：http://blog.51cto.com/11134648/2133850
