标签：work ip） $1 ret 转发 数字 计数 sed ctc
2 Linux LVS（Linux virtual server）V1.26 负载均衡配置思路：
2.1 LVS 概念
LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。
LVS是一个模块，可以单独使用，但是配合keepalived更方便，
版本： 根据内核选择版本
Branch Version Release date Status License
IPVS for kernel 2.6
1.2.1
24-Dec-2004 Stable GNU General Public License (GPL)
IPVS for kernel 2.5
1.1.7
5-Jul-2003 Devel GNU General Public License (GPL)
IPVS for kernel 2.4
1.0.12
17-Nov-2004 Stable GNU General Public License (GPL)
IPVS for kernel 2.2
1.0.8
14-May-2001 Stable GNU General Public License (GPL)
LVS负载均衡方案
2.2 LVS 负载均衡模式
VIP 虚拟IP地址（Virtual Ip Address）
RIP 后端服务器真实IP（Real Server IP Address）
DIP Director的IP地址（Director IP Address） 主要是连接后端服务器和外网的网卡IP地址
CIP 客户端IP地址
2.2.1 LVS DR模式：直接路由 （企业常用）
优缺点：
2.2.2 LVS NAT模式：网络地址转换
NAT（Network Address Translation）是一种外网和内网地址映射的技术。NAT模式下，网络数据报的进出都要经过LVS的处理。LVS需要作为RS（真实服务器）的网关。当包到达LVS时，LVS做目标地址转换（DNAT），将目标IP改为RS的IP。RS接收到包以后，仿佛是客户端直接发给它的一样。RS处理完，返回响应时，源IP是RS IP，目标IP是客户端的IP。这时RS的包通过网关（LVS）中转，LVS会做源地址转换（SNAT），将包的源地址改为VIP，
vi /etc/sysctl.conf
特点：
可以实现一些应用的跨机房的高可用
2.2.4 LVS FULL NAT
实现多个LB调度器来处理请求，（OSPF+多台LVS）
2.3 LVS 调度算法
固定调度算法：rr,wrr,dh,sh
动态调度算法：wlc,lc,lblc,SED,NQ
常用算法： rr, wrr, wlc
rr 轮循调度（Round-Robin），它将请求依次分配不同的RS节点，也就是在RS节点中均摊请求，这种算法简单，但 只适合RS节点处理性能差不大的情况
wrr, 加权轮循调度（weighted Round-Robin），它将依据不同RS节点的权值分配任务，权值较高的RS将优先获得任务 ，并且分配到的连接数将比权值较低的RS节点更多，相同的权值的RS得到相同的数目的连接数
dh 目的地址哈希调度（Destination Hashing）以目的地址为关键字查找一个静态hash表来获得需要的RS
sh 源地址哈希调度(source hashing)以源地址为关键字查找一个静态hash表来获得需要的RS
wlc 加权最小连接数调度（weighted Least-Connection），假设各台RS的权值依次为Wi(I=1..n),当前的TCP连接 数依次为Ti(I=1..n),依次选取Ti/Wi为最小的RS作为下一个分配的RS
lc 最小连接数调度(Least-Connection)，IPVS表存储了所有的活动的连接，把新的连接请求发送到当前连接数最 小的RS
生产环境选型：
? Fixed Scheduling Method 静态调服方法
RR #轮询
#调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
WRR #加权轮询
#调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。 这样可以保证处理能力强的服务器处理更多的访问流量。调度器 可以自动问询真实服务器的负载情况，并动态地调整其权值。
DH #目标地址hash
#算法也是针对目标IP地址的负载均衡，但它是一种静态映射算法，通过一个散列（Hash）函数将一个目标IP地址映射到一台服务器。
#目标地址散列调度算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
SH #源地址hash
#算法正好与目标地址散列调度算法相反，它根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是 可用的且未超载，将请求发送到该服务器，否则返回空。
#它采用的散列函数与目标地址散列调度算法的相同。除了将请求的目标IP地址换成请求的源IP地址外，它的算法流程与目标地址散列调度算法的基本相似。在实际应用中，源地址散列调度和目标地址散列调度可以结合使用在防火墙集群中，它们可以保证整个系统的唯一出入口。
? Dynamic Scheduling Method 动态调服方法
LC #最少连接
#调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。 如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
WLC #加权最少连接
#在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
SED #最少期望延迟
#基于wlc算法，举例说明：ABC三台机器分别权重123，连接数也分别是123，name如果使用WLC算法的话一个新请求 进入时他可能会分给ABC中任意一个，使用SED算法后会进行这样一个运算
#A:(1+1)/2
#B:(1+2)/2
#C:(1+3)/3
#根据运算结果，把连接交给C
NQ #从不排队调度方法
#无需列队，如果有台realserver的连接数=0 就直接分配过去，不需要进行sed运算.
LBLC #基于本地的最少连接
#该算法根据请求的目标IP地址找出该 目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；
#若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。
LBLCR #带复制的基于本地的最少连接
#"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。
#它与LBLC算法的不同 之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。
#该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，
#若服务器没有超载，将请求发送到该服务器；若服务器超载，则按"最小连接"原则从这个集群中选出一 台服务器 ，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改， 将最忙的服务器从服务器组中删除，以降低复制的程度。
2.4 LVS 安装
官网： http://www.linuxvirtualserver.org/software/
版本：
1.27-7.el7 最新版
ipvsadm-1.26-1.src.rpm (for kernel 2.6.28-rc3 or later) - February 8, 2011
ipvsadm-1.26.tar.gz (for kernel 2.6.28-rc3 or later) - February 8, 2011
【注意】
根据内核选择版本
2.4.1 yum安装
linux内核2.4版本以上的基本都支持LVS，要使用lvs，只需要再安装一个lvs的管理工具：ipvsadm
yum install ipvsadm
yum安装的自动会加载ip_vs模块
[root@localhost ~]# lsmod |grep ip
ip_vs 140944 0
2.4.2 源码安装
./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-358.el6.x86_64/
安装小结
2.5 LVS Ipvsadm配置
其实LVS的本身跟iptables很相似,而且连命令的使用格式都很相似,其实LVS是根据iptables的框架开发的,那么LVS的本身分成了两个部分：
2.5.1 Ipvsadm参数详解
参数说明：
-A 增加一台虚拟服务器地址（实例服务器，类似于haproxy的一个backend ）。此处以VIP命名
-a 在虚拟服务器中增加一台后端RS真实服务器。
-D 删除一台虚拟服务器，删除VIP实例名
-d 删除一台RS服务器
-t 指定虚拟服务器提供的tcp服务端口。
-s 使用的调度算法。
-r 指定RS真实服务器地址。
-m 设置当前转发方式为NAT模式；
-g 设置为DR直接路由模式；
-i 设置为tun隧道模式。
-w 后端真实服务器的权重。
-C --clear #清除所有配置。
--set tcp tcpfin udp #设置连接超时值
查看LVS转发列表命令为：ipvsadm –Ln
#virtual-service-address:是指虚拟服务器的ip 地址（一般是VIP 当多个虚拟服务器时就有多个VIP）
#real-service-address:是指真实服务器的ip 地址（后端的Real server）
#scheduler：调度方法
ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p[timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
-A --add-service #在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E --edit-service #编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service #删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear #清除内核虚拟服务器表中的所有记录。
-R --restore #恢复虚拟服务器规则
-S --save #保存虚拟服务器规则，输出为-R 选项可读的格式
-a --add-server #在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server #编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server #删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list #显示内核虚拟服务器表
-Z --zero #虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp #设置连接超时值
--start-daemon #启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的VRRP 功能。
--stop-daemon #停止同步守护进程
-h --help #显示帮助信息
#其他的选项:
-t --tcp-service service-address #说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]
-u --udp-service service-address #说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark #说明是经过iptables 标记过的服务类型。
-s --scheduler scheduler #使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是： wlc.
-p --persistent [timeout] #持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask #子网掩码
-r --real-server server-address #真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip #指定LVS 的工作模式为隧道模式
-m --masquerading #指定LVS 的工作模式为NAT 模式
-w --weight weight #真实服务器的权值
--mcast-interface interface #指定组播的同步接口
-c --connection #显示LVS 目前的连接 如：ipvsadm -L -c
--timeout #显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon #显示同步守护进程状态
--stats #显示统计信息
--rate #显示速率信息
--sort #对虚拟服务器和真实服务器排序输出
--numeric -n #输出IP 地址和端口的数字形式
2.5.2 配置LVS Server
配置LVS的VIP
ifconfig eth0:0 10.204.3.250 up
添加虚拟主机(实例名 VIP)
ipvsadm -C 清空配置
ipvsadm --set 30 5 60 tcp/tcp fin udp超时时间
ipvsadm -A -t 10.204.3.250:80 -s rr 添加虚拟主机
在虚拟服务器下添加Real server真实服务器
ipvsadm -a -t 10.204.3.250:80 -r 10.204.3.21:80 -g -w 1 # 添加RS -g DR模式 -w 权重
ipvsadm -a -t 10.204.3.250:80 -r 10.204.3.22:80 -g -w 1
2.5.3 配置LVS RServer
监控RS访问
watch -n 1 ipvsadm -L -n # 1秒钟查看ipvsadm访问情况
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.204.3.250:80 rr
-> 10.204.3.23:80 Route 1 2 20
-> 10.204.3.24:80 Route 1 2 20
2.5.4 Ipvsadm 删除 修改
删除方法
ipvsadm -D -t 10.0.0.10:80 -s wrr 删除LVS-server
ipvsadm -d -t 10.0.0.10:80 -r 10.0.0.12:80 删除RS
2.1 LVS 通过脚本管理ipvsadm
2.1.1 LVS Server 启动守户进程脚本
#!/bin/bash
VIP=10.204.1.250
PORT=80
RIP=(
10.204.3.23
10.204.3.24
)
start(){
ipvsadm –C
ifconfig eth0:0 $VIP up
ipvsadm -A -t $VIP:$PORT -s rr
for ((i=0;i<${#RIP[*]};i++)) #循环数组中的值
do
ipvsadm -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g
done
}
stop(){
ipvsadm -C
}
restart(){
stop
start
}
status(){
ipvsadm -Ln
}
case $1 in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
status)
status
;;
*)
echo "USAGE: START|STOP|RESTART|STATUS"
esac
2.1.2 LVS realserver启动守户进程脚本：
#!/bin/sh
#LVS Client Server
VIP=192.168.33.188
case $1 in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
exit 0
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped OK"
exit 1
;;
*)
echo "Usage: $0 {start|stop}"
;;
esac
2.1.3 LVS 进程监控恢复脚本
#!/bin/bash
rs_1=192.168.136.129
rs_2=192.168.136.130
vip=192.168.136.127
. /etc/init.d/functions
web_result() {
rs=curl -I -s $1 |awk ‘NR==1 {print $2}‘
return $rs
}
lvs_result() {
rs=ipvsadm -ln |grep $1:80 |wc -l
return $rs
}
auto_lvs (){
web_result $1
a=$?
lvs_result $1
b=$?
if [ $a -ne 200 ] && [ $b -ge 1 ]
then
ipvsadm -d -t $vip:80 -r $1
action “kill $1” /bin/true
fi
if [ $a -eq 200 ] && [ $b -lt 1 ]
then
ipvsadm -a -t $vip:80 -r $1 -g -w 1
action “add $1” /bin/true
fi
}
while true
do
auto_lvs $rs_1
auto_lvs $rs_2
sleep 2
done
2.2 LVS 通过Keepalived管理ipvsadm
配置小结：
LVS负载均衡是单点，为了解决单点问题，我们利用keepalived在两台LVS上实现高可用。
LVS+keepalived的配置脚本要写入keepalived.conf中,keepavlied会接管lvs的服务启动
global_defs {
notification_email {
edisonchou@hotmail.com
}
notification_email_from sns-lvs@gmail.com
smtp_server 192.168.80.1
smtp_connection_timeout 30
router_id LVS_DEVEL # 设置lvs的id，在一个网络内应该是唯一的
}
vrrp_instance VI_1 {
state MASTER #指定Keepalived的角色，MASTER为主，BACKUP为备
interface eth1 #指定Keepalived的角色，MASTER为主，BACKUP为备
virtual_router_id 51 #虚拟路由编号，主备要一致
priority 100 #定义优先级，数字越大，优先级越高，主DR必须大于备用DR
advert_int 1 #检查间隔，默认为1s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.80.200 #定义虚拟IP(VIP)为192.168.2.33，可多设，每行一个
}
}
virtual_server 192.168.80.200 80 {
delay_loop 6 # 设置健康检查时间，单位是秒
lb_algo wrr # 设置负载调度的算法为wlc
lb_kind DR # 设置LVS实现负载的机制，有NAT、TUN、DR三个模式
nat_mask 255.255.255.0
persistence_timeout 60
protocol TCP
real_server 192.168.80.102 80 { # 指定real server1的IP地址
weight 3 # 配置节点权值，数字越大权重越高
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
} }
real_server 192.168.80.103 80 { # 指定real server2的IP地址
weight 3 # 配置节点权值，数字越大权重越高
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
} }
#pvsadm -a -t 192.168.80.200:80 -r 192.168.80.102:80 -g -w 1以上语句对应此条命令
#pvsadm -a -t 192.168.80.200:80 -r 192.168.80.103:80 -g -w 1以上语句对应此条命令
2.3 LVS+交换机OSPF实现多主
2.4 LVS 故障排错
tcpdump -nn port 80 检测80端口的包
tcpdump -nn port 22 and host 192.168.1.100
2.4.1 LVS排错流程
1.PING网站哉名，能解析，域名正常
2.登录LVS服务器，查看ipvsadm -Ln
使用tcpdump抓包
2.4.2 LVS分发请求RS不均衡故障
生产环境中，ipvsadm -L -n发现两台RS的负载不均衡，一台有很多请求，一台没有，并且没有请求的那台RS经测试服务正常，lo:VIP也有，但是就是没有请求
问题原因：
配置了persistent 10的原因，persistent会话保持，当client A访问网站的时候，LVS把请求分发给了RS2 那么以后client A再点击的其它操作和请求，也会发给RS2这台机器，
解决方法:
到keepalived中注释掉persistent 10后，/etc/init.d/keepalived reload，然后可以看到以后负载两边请求都OK了
其它原因：
实现会话保持的方案：
http://oldboy/blog.51cto.com/2561410/1331316
http://oldboy/blog.51cto.com/2561410/1332468
2.4.3 LVS故障排错思路
RS节点上VIP绑定和ARP抑制的检查
生产处理思路：
a.对绑定的VIP做实时监控，出问题报警或者自动处理后报警
b.把绑定的vip做成配置文件，
arp抑制的配置思路：
a.如果是单个vip，那么可以用stop传参设置0
b.如果RS端有多个VIP绑定，此时，即使是停止vip绑定也一定不要设置0
if [ ${#VIP[@]} -le 1 ];then
echo "0" >/proc/sys/net/ipv4/config/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/config/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/config/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/config/all/arp_announce
fi
2.4.4 LVS make报错
[root@monitor ipvsadm-1.23]# make
make -C libipvs
make[1]: Entering directory `/opt/lvs/ipvsadm-1.23/libipvs‘
gcc -Wall -Wunused -Wstrict-prototypes -g -O2 -I/usr/src/linux/include -DHAVE_NET_IP_VS_H -c -o libipvs.o libipvs.c
In file included from libipvs.c:23:
libipvs.h:14:23: error: net/ip_vs.h: No such file or directory
In file included from libipvs.c:23:
ln -s /usr/src/kernels/2.6.18-194.11.3.el5-i686/ /usr/src/linux
但是有时你找不到这个内核的路径，网上很多都是以上的解决方法连接，可有的系统安装完后并没有kernerls的目录
解决方法：yum install kernel-devel
接下来在进行连接 编译 就ok了！
Linux LVS（Linux virtual server）V1.26 负载均衡 详细配置教程
标签：work ip） $1 ret 转发 数字 计数 sed ctc
原文地址：http://blog.51cto.com/zhongliang/2152902
