码迷,mamicode.com
首页 > 系统相关 > 详细

Linux之LVS 20180708

时间:2018-07-08 18:02:00      阅读:193      评论:0      收藏:0      [点我收藏+]

标签:define   lvs   依赖包   www.   发送   bsp   clear   yum   基于   

  LVS负载均衡项目,是Linux开源项目中专门用于负载均衡的,主要应用在client访问server时,通过LVS来分配对应的server来响应client的请求。client访问时,都是访问的LVS的VIP虚拟地址,LVS有三种工作模式:

  1. NAT模式,client访问LVS时,LVS会将client的数据包,对源地址进行NAT转换,同时对目标地址,根据一定的负载均衡算法,改成内网的一个server地址,然后从内网转发出去,内网server收到数据包之后,会进行响应,源地址是本机的地址,目标地址是LVS负载均衡设备转换到内网的地址,然后将数据包返回给LVS负载均衡器,负载均衡器在收到数据包之后,再进行对应的NAT转换,将数据包返回给client。在NAT模式中,数据包的来和回,都必须经过LVS负载均衡器,LVS会成为访问链路上的性能瓶颈;优点是只需要配置LVS负载均衡器就好了,在RS上不需要进行相关配置
  2. Tunnel模式,LVS负载均衡器和RS real server之间会建立专门的数据tunnel,client访问LVS,LVS会将数据包通过tunnel传递到某一个RS上,RS响应之后,会通过tunnel返回给LVS,然后返回给client,在这种模式中,由于数据链路上存在tunnel,需要一定的数据开销,同时,需要在RS和LVS负载均衡器上都进行配置。
  3. DR模式,direct route,直接路由模式,LVS的内网口和RS的业务口在同一个二层网络中,client访问LVS,LVS将数据包的目标MAC地址修改为某一个RS的MAC地址,然后通过二层网络,转发给RS,RS处理完之后,通过自身的路由表,转发,返回给client,这种情况下,需要在RS和LVS上同时配置相同的VIP,同时抑制RS上的VIP,使得RS能够处理client请求的数据包,同时,RS要有和LVS相同的外网环境,因为在数据包返回时,是RS直接将数据包返回给client,不会经过LVS负载均衡器,同时,LVS的内网口必须和RS业务口在同一个二层网络中。DR模式是通过修改数据包的目标MAC,来实现转发的。

  LVS负载均衡器,有多种负载均衡算法,不同的场景使用不同的算法:

  1. RR:round robin,轮询算法,所有的RS平均分配
  2. WRR,weight RR,基于权重的RR,不同的RS,分配不同的请求
  3. DH:destination hash,基于目标地址的静态hash,这个我是没有懂。不理解是啥意思
  4. SH:source hash,基于源地址的hash
  5. WLC:weight least connection,加权最小链接数,取weight/connection最小的RS,进行分配
  6. LC:least connection,最小链接数,RS的服务连接最小,越优先分配
  7. SED:shortest expected delay,最小期望延时

  我们重点来了解一下DR模式。

  1. client访问LVS,将数据包发送给LVS,源IP为client的IP,目标IP为LVS的VIP
  2. LVS收到数据请求后,根据特定的负载均衡算法,将数据包的目标MAC地址修改为某一个RS的MAC地址,然后通过内网转发出去,源IP还是client的IP,目标IP还是VIP,但是目标MAC地址是内网RS的MAC地址
  3. 由于LVS和RS在同一个二层网络中,直接通过二层MAC寻址转发,到对应的RS上
  4. RS收到数据包之后,解封装,MAC是自己的,VIP需要在本地的环回口loopback接口上配置,使得RS能有这个VIP地址,能够处理这个数据包,RS处理了数据包之后,将数据包返回给client。
  5. client收到的数据包,源地址是VIP,目标地址是自己的地址。这个可以通过抓包来证实。

 

  下面来做一个关于nginx的LVS,首先说一下我们的环境,两台RS,192.168.245.101和192.168.245.102,LB地址为192.168.245.100,VIP为192.168.245.200,两台RS上部署了最简单的nginx,在index页面上做了一段内容。

echo `ifconfig eth0|grep "inet addr"|awk {print $1,$2}` >> index.html

   分别访问一下101和102,看看结果

技术分享图片

技术分享图片

  首先保证两台RS是可以正常提供服务的,在这里,最好是将nginx 的配置文件中的listen,不要指定地址,或者指定两个地址,RS和vip,写两条listen ,如果有多个地址,就写多个listen,同一个站点,对应多个IP地址和端口。

  下面就开始安装部署ipvsadm了,首先要查看系统的内核版本,uname -r,然后对应下载ipvsadm的安装包,下载地址为:http://www.linuxvirtualserver.org/software/ipvs.html

  在内核版本上,创建一个软连接,ln -s /usr/src/kernels/2.6.32-696.el6.x86_64 /usr/src/linux

  在源码编译安装之前,需要先解决依赖安装问题:yum install popt* libnl* -y,不安装这些依赖包,在安装ipvsadm时会报错。

  解压,编译安装,tar,make && make install,通过查看readme,可以看到安装之后的软件布局。

  将ipvs加载进内核中,通过lsmod|grep ip_vs,查看是否加载进内核,如果没有,通过modprobe ip_vs,加载进内核中。

  技术分享图片

  这个时候,就开始配置VS和RS了,具体代码如下:

ipvsadm -A -t 192.168.245.200:80 -s wrr -p 10
ipvsadm -a -t 192.168.245.200:80 -r 192.168.245.101:80 -g -w 1
ipvsadm -a -t 192.168.245.200:80 -r 192.168.245.102:80 -g -w 1 

  -A是添加VS,-s是指定调度算法,schedule调度,wrr是一种算法,-p是保持会话,-t表示TCP端口,如果是-u则是udp端口

  -a是添加RS,添加RS是要在某一个VS上添加,-g表示direct route模式,-w是在wrr算法中的权重值

  可以通过-help查看命令帮助信息

  添加完成之后,通过ipvsadmi -L -n查看,--stats查看整个的状态。

  技术分享图片

  添加完成之后,需要在每个RS上创建lo0接口,配置上 VIP地址。在RS上增加lo接口,配置VIP,做ARP抑制,这个时候访问VIP是无法访问的,配置的是子接口,但是抑制arp是在主接口上,默认值都是0。

  

ifconfig lo:0 192.168.245.200 netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

route add -host 192.168.245.200 dev lo:0

  这个写都配置完成之后,就可以通过VIP来访问了。

  技术分享图片

  技术分享图片

   由于LVS是一种应用,是需要自己配置的,所以重启之后,服务就会消失,需要重新配置加载,下面我们要考虑的是,做一个脚本,能够开机自启动,并且能够监测RS的状态,当RS服务不可用时,需要将该节点从LVS中移除,当节点可用时,再添加回来。

  首先我们先做一个自动的LVS配置脚本,具体脚本如下:

[ -f /etc/init.d/functions  ] && . /etc/init.d/functions

VIP=192.168.245.200
PORT=80
NETMASK=255.255.255.0
IFCONFIG=/sbin/ifconfig
IPVSADM=/sbin/ipvsadm
ROUTE=/sbin/route
RIP=(
                192.168.245.101
                192.168.245.102
)
#define the VIP dev
secondary_dev=eth0:`echo $VIP|cut -d. -f4`
#panduan dev is exist,if exists ,down the dev

[ `$IFCONFIG|grep $secondary_dev|wc -l` -eq 1 ]  && $IFCONFIG $secondary_dev down
$IFCONFIG $secondary_dev $VIP netmask $NETMASK up



#clear the ipvs
$IPVSADM -C
#add virtual server
$IPVSADM -A -t $VIP:$PORT -s wrr -p 10
#add real server
for ((i=0;i<`echo ${#RIP[*]}`;i++))
 do
 $IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g -w 1
 done

  这是一个自动添加的脚本,如果做的好的话,应该还包含删除等操作,所以我们再优化一下:

  

 1 [ -f /etc/init.d/functions  ] && . /etc/init.d/functions
 2 
 3 VIP=192.168.245.200
 4 PORT=80
 5 NETMASK=255.255.255.0
 6 IFCONFIG=/sbin/ifconfig
 7 IPVSADM=/sbin/ipvsadm
 8 ROUTE=/sbin/route
 9 RIP=(
10                 192.168.245.101
11                 192.168.245.102
12 )
13 #define the VIP dev
14 secondary_dev=eth0:`echo $VIP|cut -d. -f4`
15 #panduan dev is exist,if exists ,down the dev
16 
17 ipvs_start(){
18 
19         [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq 1 ]  && $IFCONFIG $secondary_dev down
20         $IFCONFIG $secondary_dev $VIP netmask $NETMASK up
21 
22         #clear the ipvs
23         $IPVSADM -C
24         #add virtual server
25         $IPVSADM -A -t $VIP:$PORT -s wrr -p 10
26         #add real server
27         for ((i=0;i<`echo ${#RIP[*]}`;i++))
28          do
29          $IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g -w 1
30          done
31          [ $? -eq 0  ] && action " starting ipvs..." /bin/true || action " starting ipvs..." /bin/false
32 }
33 
34 ipvs_stop(){
35         $IPVSADM -C
36         $IFCONFIG $secondary_dev down
37         [ $? -eq 0 ] && action " stopping ipvs..." /bin/true || action " starting ipvs..." /bin/false
38 }
39 usage(){
40                 echo "$0 usage: {start|stop|restart}"
41 }
42 
43 main(){
44         if [ $# -ne 1 ];then
45                 usage
46         else
47 
48         case "$1" in
49                         start|START)
50                                                         ipvs_start
51                                                         ;;
52                         stop|STOP)
53                                                         ipvs_stop
54                                                         ;;
55                         restart|RESTART)
56                                                         ipvs_stop
57                                                         ipvs_start
58                                                         ;;
59                                 *)
60                                                         usage
61                 esac
62         fi
63 }
64 main $*

  在这个脚本中,我们用到了函数定义和函数的调用,在shell函数定义时要(),在调用的时候不需要(),另外,main函数的调用直接main $*就可以。

  在VIP数组中,可以通过${#VIP[*]}来计算属组的长度,然后通过${#VIP[i]}来取值。

  以上的代码是在LVS上面的配置,而在RS上面的配置就比较简单了,只需要添加lo0接口地址,然后抑制arp就可以了。简单写一下。

  

 1 [ -f /etc/init.d/functions  ] && . /etc/init.d/functions
 2 VIP=192.168.245.200
 3 PORT=80
 4 NETMASK=255.255.255.255
 5 IFCONFIG=/sbin/ifconfig
 6 secondary_dev=lo:`echo $VIP|cut -d. -f4`
 7 
 8 
 9 ipvs_start(){
10 
11         [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq 1 ]  && route del -host $VIP  && $IFCONFIG $secondary_dev down
12         $IFCONFIG $secondary_dev $VIP netmask $NETMASK up
13                                 echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
14                                 echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
15                                 echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
16                                 echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
17                                 route add -host $VIP dev $secondary_dev
18                                 [ $? -eq 0  ] && action " starting ipvs..." /bin/true || action " starting ipvs..." /bin/false
19        
20 }
21 
22 ipvs_stop(){
23                                 [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq 1 ]  && route del -host $VIP  && $IFCONFIG $secondary_dev down
24                                 echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
25                                 echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
26                                 echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
27                                 echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
28 
29                                 [ $? -eq 0  ] && action " stopping ipvs..." /bin/true || action " starting ipvs..." /bin/false
30 }
31 
32 usage(){
33                 echo "$0 usage: {start|stop|restart}"
34 }
35 
36 main(){
37                          if [ $# -ne 1 ];then
38                 usage
39         else
40 
41         case "$1" in
42                         start|START)
43                                                         ipvs_start
44                                                         ;;
45                         stop|STOP)
46                                                         ipvs_stop
47                                                         ;;
48                         restart|RESTART)
49                                                         ipvs_stop
50                                                         ipvs_start
51                                                         ;;
52                                 *)
53                                                         usage
54                 esac
55         fi
56 }
57 
58 main $*

 

 

 

 

 

 


  

 

技术分享图片

Linux之LVS 20180708

标签:define   lvs   依赖包   www.   发送   bsp   clear   yum   基于   

原文地址:https://www.cnblogs.com/bobo137950263/p/9279503.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!