LVS详解

yum install ipvsadm -y 
###文件说明
Unit 文件: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm --help #查看使用方法及参数
命令：
-A, --add-service： #添加一个集群服务. 即为ipvs虚拟服务器添加一个虚拟服务，也就是添加一个需要被负载均衡的虚拟地址。虚拟地址需要是ip地址，端口号，协议的形式。
-E, --edit-service： #修改一个虚拟服务。
-D, --delete-service： #删除一个虚拟服务。即删除指定的集群服务;
-C, --clear： #清除所有虚拟服务。
-R, --restore： #从标准输入获取ipvsadm命令。一般结合下边的-S使用。
-S, --save： #从标准输出输出虚拟服务器的规则。可以将虚拟服务器的规则保存，在以后通过-R直接读入，以实现自动化配置。
-a, --add-server： #为虚拟服务添加一个real server（RS）
-e, --edit-server： #修改RS
-d, --delete-server： #删除
-L, -l, --list： #列出虚拟服务表中的所有虚拟服务。可以指定地址。添加-c显示连接表。
-Z, --zero： #将所有数据相关的记录清零。这些记录一般用于调度策略。
--set tcp tcpfin udp： #修改协议的超时时间。
--start-daemon state： #设置虚拟服务器的备服务器，用来实现主备服务器冗余。（注：该功能只支持ipv4）
--stop-daemon： #停止备服务器。

 
参数：
以下参数可以接在上边的命令后边。
-t, --tcp-service service-address： #指定虚拟服务为tcp服务。service-address要是host[:port]的形式。端口是0表示任意端口。如果需要将端口设置为0，还需要加上-p选项（持久连接）。
-u, --udp-service service-address： #使用udp服务，其他同上。
-f, --fwmark-service integer： #用firewall mark取代虚拟地址来指定要被负载均衡的数据包，可以通过这个命令实现把不同地址、端口的虚拟地址整合成一个虚拟服务，可以让虚拟服务器同时截获处理去往多个不同地址的数据包。fwmark可以通过iptables命令指定。如果用在ipv6需要加上-6。
-s, --scheduler scheduling-method： #指定调度算法,默认是wlc。调度算法可以指定以下8种：rr（轮询），wrr（权重），lc（最后连接），wlc（权重），lblc（本地最后连接），lblcr（带复制的本地最后连接），dh（目的地址哈希），sh（源地址哈希），sed（最小期望延迟），nq（永不排队）
-p, --persistent [timeout]： #设置持久连接，这个模式可以使来自客户的多个请求被送到同一个真实服务器，通常用于ftp或者ssl中。
-M, --netmask netmask： #指定客户地址的子网掩码。用于将同属一个子网的客户的请求转发到相同服务器。
-r, --real-server server-address： #为虚拟服务指定数据可以转发到的真实服务器的地址。可以添加端口号。如果没有指定端口号，则等效于使用虚拟地址的端口号。
[packet-forwarding-method]： #此选项指定某个真实服务器所使用的数据转发模式。需要对每个真实服务器分别指定模式。
-g, --gatewaying： #使用网关（即直接路由），此模式是默认模式。
-i, --ipip： #使用ipip隧道模式。
-m, --masquerading： #使用NAT模式。
-w, --weight weight:  #设置权重。权重是0~65535的整数。如果将某个真实服务器的权重设置为0，那么它不会收到新的连接，但是已有连接还会继续维持（这点和直接把某个真实服务器删除时不同的）。
-x, --u-threshold uthreshold： #设置一个服务器可以维持的连接上限。0~65535。设置为0表示没有上限。
-y, --l-threshold lthreshold： #设置一个服务器的连接下限。当服务器的连接数低于此值的时候服务器才可以重新接收连接。如果此值未设置，则当服务器的连接数连续三次低于uthreshold时服务器才可以接收到新的连接。
--mcast-interface interface： #指定使用备服务器时候的广播接口。
--syncid syncid：#指定syncid， 同样用于主备服务器的同步。
 
#以下选项用于list(-l)命令：
-c, --connection： #列出当前的IPVS连接。
--timeout： #列出超时
--stats： #状态信息
--rate： #传输速率
--thresholds： #列出阈值
--persistent-conn： #持久连接
--sor： #把列表排序
--nosort： #不排序
-n, --numeric： #不对ip地址进行dns查询
--exact： #单位
-6： 如#果fwmark用的是ipv6地址需要指定此选项。    
     
#如果使用IPv6地址，需要在地址两端加上"[]"。例如：ipvsadm -A -t [2001:db8::80]:80 -s rr

####管理LVS集群中的RealServer举例
1) 添加RS : -a
# ipvsadm -a -t|u|f service-address -r server-address [-g|i|m] [-w weight]
  
#举例1: 往VIP资源为10.1.210.58的集群服务里添加1个realserver
ipvsadm -a -t 10.1.210.58 -r 10.1.210.52 –g -w 5

  
2) 修改RS : -e
# ipvsadm -e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
  
#举例2: 修改10.1.210.58集群服务里10.1.210.52这个realserver的权重为3
ipvsadm -e -t 10.1.210.58:80 -r 10.1.210.52 –g -w 3
  
3) 删除RS : -d
# ipvsadm -d -t|u|f service-address -r server-address
  
#举例3: 删除10.1.210.58集群服务里10.1.210.52这个realserver
ipvsadm -d -t 10.1.210.58:80 -r 10.1.210.52


4) 清除规则 (删除所有集群服务), 该命令与iptables的-F功能类似，执行后会清除所有规则:
# ipvsadm -C
  
5) 保存及读取规则：
# ipvsadm -S > /path/to/somefile
# ipvsadm-save > /path/to/somefile
# ipvsadm-restore < /path/to/somefile


####管理LVS集群服务的查看
# ipvsadm -L|l [options]
   options可以为：
   -n：数字格式显示
   --stats 统计信息
   --rate：统计速率
   --timeout：显示tcp、tcpinfo、udp的会话超时时长
   -c：连接客户端数量
  
#查看lvs集群转发情况
# ipvsadm -Ln

  
#查看lvs集群的连接状态
# ipvsadm -l --stats

  
说明：
Conns    (connections scheduled)  已经转发过的连接数
InPkts   (incoming packets)       入包个数
OutPkts  (outgoing packets)       出包个数
InBytes  (incoming bytes)         入流量（字节）
OutBytes (outgoing bytes)         出流量（字节）
  
#查看lvs集群的速率
ipvsadm -l --rate
  
说明：
CPS      (current connection rate)   每秒连接数
InPPS    (current in packet rate)    每秒的入包个数
OutPPS   (current out packet rate)   每秒的出包个数
InBPS    (current in byte rate)      每秒入流量（字节）
OutBPS   (current out byte rate)      每秒入流量（字节）

modprobe ip_vs #加载ip_vs模块
cat /proc/net/ip_vs #查看是否加载成功
lsmod | grep ip_vs   #查看加载的模块
yum install ipvsadm # 安装管理工具

#!/bin/bash

VIP=10.1.210.58  #虚拟IP
RIP1=10.1.210.52 #真实服务器IP1
RIP2=10.1.210.53 #真实服务器IP2
PORT=80 #端口
ifconfig ens192:1 $VIP broadcast $VIP netmask 255.255.255.255 up #添加VIP,注意网卡名称
echo 1 > /proc/sys/net/ipv4/ip_forward    #开启转发
 route add -host $VIP dev ens192:1    #添加VIP路由
/sbin/ipvsadm -C      #清空ipvs中的规则
/sbin/ipvsadm -A -t $VIP:80 -s wrr  #添加调度器
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1 #添加RS
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 1 #添加RS
/sbin/ipvsadm -ln  #查看规则

[root@app51 ~]# sh dr.sh
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.1.210.58:80 wrr
  -> 10.1.210.52:80               Route   1      0          0         
  -> 10.1.210.53:80               Route   1      0          0 

#!/bin/bash
VIP=10.1.210.58  #RS上VIP地址
#关闭内核arp响应，永久修改配置参数到/etc/sysctl.conf，目的是为了让rs顺利发送mac地址给客户端
 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore     
 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up  #绑定VIP到RS服务器上
/sbin/route add -host $VIP dev lo:0  #添加VIP路由

sh rs.sh

systemctl stop firewalld  #关闭防火墙
systemctl disable firewalld #禁止开机启动
yum install httpd #安装httpd


###RS1虚拟主机配置
vi /etc/httpd/conf/httpd.conf
ServerName 10.1.210.52:80
echo "RS 10.1.210.52" > /var/www/html/index.html

###RS2虚拟主机配置

vi /etc/httpd/conf/httpd.conf
ServerName 10.1.210.53:80
echo "RS 10.1.210.53" > /var/www/html/index.html

#启动httpd服务
systemctl start httpd

[root@localhost ~]# ipvsadm -At 10.1.210.58:80 -s rr -p 300
  #上面命令的意思是：添加一个集群服务为10.1.210.58:80，使用的调度算法为rr，持久连接的保持时间是300秒。当超过300秒都没有请求时，则清空LVS的持久连接模板。

# ipvsadm -A -t 10.1.210.58:0 -s rr -p 600
# ipvsadm -a -t 10.1.210.58:0 -r 10.1.210.52 -g -w 2
# ipvsadm -a -t 10.1.210.58:0 -r 0.1.210.53 -g -w 1

######PNMPP是通过路由前给数据包打标记来实现的
# iptables -t mangle -A PREROUTING -d 10.1.210.58 -ens192 -p tcp --dport 80 -j MARK --set-mark 3
# iptables -t mangle -A PREROUTING -d 10.1.210.58 -ens192 -p tcp --dport 443 -j MARK --set-mark 3
# ipvsadm -A -f 3 -s rr -p 600
# ipvsadm -a -f 3 -r 10.1.210.52 -g -w 2
# ipvsadm -a -f 3 -r 10.1.210.52 -g -w 2