Tomcat Cluster

标签：head   value   负载均衡   reflect   engine   文件中   route   pch   序列   

此处仅讨论Tomcat 的LB集群，因为考虑到要实现会话保持，而实现会话保持的方法大体有三类：

　　A.Session Sticky

　　　　实现：nginx,httpd,haproxy,lvs等

　　B.Session Cluster

　　　　实现：tomcat session cluster + tomcat delta manager等

　　C.Session Server

　　　　实现：memcached,varnish等

接下来将以LAMT来实践演示Tomcat的LB集群。

　　A.基于Session Sticky的实现：

　　　　环境：

　　　　　　OS：Linux CentOS 6.8

　　　　　　Tomcat:6.0

　　　　　　　　IpAddr:192.168.1.101(srv_A),192.168.1.102(srv_B)

　　　　　　Httpd:2.2.15

　　　　　　　　IpAddr:192.168.1.104

　　　　方式一：

　　　　　　apache:mod_proxy,mod_proxy_http,mod_proxy_balancer　　

　　　　　   tomcat:http connector

　　　　配置过程：

　　　　　　Tomcat端主机配置不再赘述

　　　　　　Httpd端主机配置：

/*会话绑定方法*/
Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e;path=/" env=BALANCER_ROUTE_CHANGED

<Proxy balancer://testsrvs>
  BalancerMember http://192.168.1.101:8080/test route=srv_A loadfactor=1
  BalancerMember http://192.168.1.102:8080/test route=srv_B loadfactor=2
  ProxySet lbmethod=byrequests
  ProxySet stickysession=ROUTEID
</Proxy>

NameVirtualHost 192.168.1.104:80

<VirtualHost 192.168.1.104:80>
  ServerName www.b.com
  ProxyRequests Off
  ProxyVia On
  ProxyPreserveHost On
  /*状态页，要放在ProxyPass之前*/
  <Location /balancer-manager>
    SetHandler balancer-manager
    ProxyPass !
    Allow from all
  </Location>
  ProxyPass / balancer://testsrvs/
  ProxyPassReverse / balancer://testsrvs/
  <Location />
        Allow from all
  </Location>
</VirtualHost>

　　　　配置参数详解：

ProxyPreserveHost {On|Off}  //如果启用此功能，代理会将用户请求报文中的Host:行发送给后端的服务器，而不再使用ProxyPass指定的服务器地址。如果想在反向代理中支持虚拟主机，则需要开启此项，否则就无需打开此功能。

ProxyVia {On|Off|Full|Block}  //用于控制在http首部是否使用Via:主要用于在多级代理中控制代理请求的流向。默认为Off，即不启用此功能；On表示每个请求和响应报文均添加Via:；Full表示每个Via:行都会添加当前apache服务器的版本号信息；Block表示每个代理请求报文中的Via：都会被移除。

ProxyRequests {On|Off}  //是否开启apache正向代理的功能；启用此项时为了代理http协议必须启用mod_proxy_http模块。同时，如果为apache设置了ProxyPass，则必须将ProxyRequests设置为Off。想要使用反向代理必须关闭正向代理

ProxyPass  [path] !|url  [key=value key=value ...]]  //将后端服务器某URL与当前服务器的某虚拟路径关联起来作为提供服务的路径，path为当前服务器上的某虚拟路径，url为后端服务器上某URL路径。使用此指令时必须将ProxyRequests的值设置为Off。需要注意的是，如果path以“/”结尾，则对应的url也必须以“/”结尾，反之亦然。

lbmethod  //apache实现负载均衡的调度方法，默认是byrequests，即基于权重将统计请求个数进行调度，bytraffic则执行基于权重的流量计数调度，bybusyness通过考量每个后端服务器的当前负载进行调度。

maxattempts  //放弃请求之前实现故障转移的次数，默认为1，其最大值不应该大于总的节点数。

nofailover  //取值为On或Off，设置为On时表示后端服务器故障时，用户的session将损坏；因此，在后端服务器不支持session复制时可将其设置为On。

stickysession  //调度器的stickysession的名字，根据web程序语言的不同，其值为JSESSIONID或PHPSESSIONID。

　　　　方式二：

　　　　　　apache:mod_proxy,mod_proxy_ajp,mod_proxy_balancer

　　　　　　tomcat:ajp connector

　　　　配置与第一种方式大体一致，仅需修改协议和端口即可。

Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e;path=/" env=BALANCER_ROUTE_CHANGED

<Proxy balancer://testsrvs>
  BalancerMember ajp://192.168.1.101:8009/test route=srv_A loadfactor=1
  BalancerMember ajp://192.168.1.102:8009/test route=srv_B loadfactor=2
  ProxySet lbmethod=byrequests
  ProxySet stickysession=ROUTEID
</Proxy>

NameVirtualHost 192.168.1.104:80

<VirtualHost 192.168.1.104:80>
  ServerName www.b.com
  ProxyRequests Off
  ProxyVia On
  ProxyPreserveHost On
  <Location /balancer-manager>
    SetHandler balancer-manager
    ProxyPass !
    Allow from all
  </Location>
  ProxyPass / balancer://testsrvs/
  ProxyPassReverse / balancer://testsrvs/
  <Location />
        Allow from all
  </Location>
</VirtualHost>

　　　　方式三：

　　　　　　apache:mod_jk

　　　　　　tomcat:ajp connector　

　　　　配置过程：

　　　　Tomcat端配置使用之前的配置，无需修改

　　　　Httpd端配置

　　　　　　①/etc/httpd/conf.d/mod_jk.conf

LoadModule jk_module modules/mod_jk.so

JkWorkersFile /etc/httpd/conf.d/workers.properies
JkLogFile logs/mod_jk.log
JkLogLevel notice
JkMount /* testsrvs
JkMount /jk_status Status

　　　　　 ②/etc/httpd/conf.d/workers.properies

/*此配置文件中的各节点必须显式定义在work.list中*/
worker.list=testsrvs,Status,srv_A,srv_B
worker.srv_A.host=192.168.1.102
worker.srv_A.port=8009
worker.srv_A.lbfactor=1
worker.srv_A.type=ajp13
worker.srv_B.host=192.168.1.103
worker.srv_B.port=8009
worker.srv_B.lbfactor=2
worker.srv_B.type=ajp13
worker.testsrvs.type=lb
worker.testsrvs.balance_workers=srv_A,srv_B
worker.testsrvs.sticky_session=0  //{0|1}关闭/开启session sticky
worker.Status.type=status

　　B.基于Session Cluster的实现：

　　　　配置过程：

　　　　(1)配置集群，使用之前演示的集群，稍微改一下配置文件即可满足需求

　　　　在Tomcat的主配置文件的Engine或者Host中加入以下配置：

 <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                 channelSendOptions="8">

          <Manager className="org.apache.catalina.ha.session.DeltaManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"/>

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.101.0.4"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="192.168.1.103"
                      port="4000"
                      autoBind="100"
                      selectorTimeout="5000"
                      maxThreads="6"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                 filter=""/>
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
 </Cluster>

　　　　(2)配置应用程序的web.xml，使其能够被tomcat delta manager管理

　　　　　　# vim web.xml

　　　　　　在<web-app></web-app>的范围内加入<distributable/>标签即可

　　　　注意：前端调度器的配置中不能开启session sticky功能

　　C.基于Session Server的实现：　　

　　　　最简单的安装方式你需要一个tomcat（6，7，或者8） 和一个 memcached （或者其他支持memcached 协议的），在实际的产品环境中你可能在一些不同的PC上有多个tomcat 和多个memcached。memcached-session-manager(msm) 支持两种工作

模式。sticky sessions(粘性session) 跟 no-sticky sessions（非粘性session）;

　　　　下面给出一个 sticky sessions 的安装的例子。用到了两个tomcat，两个memcached;

Tomcat-1(t1) 把他的session主要存储在 memcached-2(m2),Tomcat-2则主要存储在 memcached-1(m1),   如果m2如果不能正常工作,t1 将session存储在 memcached-1 (m1 ,m1是t1的 failoverNod).在这个配置下,当两台服务器中的一台(machine1上运行

着 t1,m1)宕机的时候,session不会丢失, 下面的非常漂亮的ASCII展示了这个设置;

  <t1>     <t2>
        . \  / .
        .  X  .
       . /   \   .
<m1>  <m2>

　　　　而且支持不同的序列化，大体有：

　　　　javolution序列化tomcat配置

　　　　　　依赖：

　　　　　　　　msm-javolution-serializer-cglib-1.3.0.jar
　　　　　　　　msm-javolution-serializer-jodatime-1.3.0.jar
　　　　　　　　spymemcached-2.10.3.jar
　　　　　　　　javolution-5.4.3.1.jar
　　　　　　　　msm-javolution-serializer-1.7.0.jar
　　　　　　　　memcached-session-manager-1.7.0.jar
　　　　　　　　memcached-session-manager-tc7-1.7.0.jar

　　　　xstream序列化tomcat配置

　　　　　　依赖：

　　　　　　　　xmlpull-1.1.3.1.jar
　　　　　　　　xpp3_min-1.1.4c.jar
　　　　　　　　xstream-1.4.6.jar
　　　　　　　　msm-xstream-serializer-1.7.0.jar
　　　　　　　　spymemcached-2.10.3.jar
　　　　　　　　memcached-session-manager-1.7.0.jar
　　　　　　　　memcached-session-manager-tc7-1.7.0.jar

　　　　flexjson序列化tomcat配置

　　　　　　依赖：

　　　　　　　　flexjson-3.1.jar
　　　　　　　　msm-flexjson-serializer-1.7.0.jar
　　　　　　　　spymemcached-2.10.3.jar
　　　　　　　　memcached-session-manager-1.7.0.jar
　　　　　　　　memcached-session-manager-tc7-1.7.0.jar

　　　　kryo序列化tomcat配置

　　　　不同的序列化依赖不同的.jar包

　　　　　　依赖：

　　　　　　　　kryo-1.04.jar
　　　　　　　　minlog-1.2.jar
　　　　　　　　asm-3.2.jar
　　　　　　　　reflectasm-1.01.jar
　　　　　　　　kryo-serializers-0.11.jar
　　　　　　　　msm-kryo-serializer-1.7.0.jar
　　　　　　　　spymemcached-2.10.3.jar
　　　　　　　　memcached-session-manager-1.7.0.jar
　　　　　　　　memcached-session-manager-tc7-1.7.0.jar

　　　　根据实际情况选择一种序列化方法，准备好.jar包放在tomcat的lib目录下再进行配置即可，接下来将以javolution序列化为例进行演示：

　　　　在Tomcat目录下的conf/目录中找到context.xml，在<Context></Context>之间加入以下配置

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:192.168.1.104:11211 n2:192.168.1.103:11211"   
requestUriIgnorePattern= ".*\.(png|gif|jpg|css|js)$" 
failoverNodes="n1"   
transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"    
/>

　　　　当然，Manager有很多额外选项，其相关解释说明如下：　     

　　　　1.className  必须
　　　　类名：de.javakaffee.web.msm.MemcachedBackupSessionManager

　　　　2.memcachedNodes  必须
　　　　memcached节点：此属性应该包含所有运行的 memcached节点或者membase bucket的uri地址，每一个memcached节点的属性定义格式为<id>:<host>:<port>， 多个节点定义直接使用空格或者逗号分隔，形如：memcachedNodes="n1:app01:11211,n2:app02:11211"，如果只 有单个的memcached节点，则<id>是可选项，只需配置<host>:<port>即可，形 如：memcachedNodes="localhost:11211"。
如果我们配置的是membase，那么从1.6.0版本开始，我们可以配置指定一个或者多个membase bucket uris，形如：http://host1:8091/pools,http://host2:8091/pools。Bucket 名称和密码通过属性username,password来定义。membase buckets连接需要遵循memcached协议，传输数据通过二进制流方式。

　　　　3.failoverNodes 可选项
　　　　故障转移节点：可选项，对非黏性session不可用，属性必须包含memcached节点集群的所有ids。节点id之间用空格或者逗号分隔。

　　　　4.username 可选项
　　　　从1.6.0版开始使用，并且是可选的。用来进行membase bucket或者SASL验证，密码可以为空。

　　　　5.password 可选项
　　　　从1.6.0版开始使用，并且是可选的。用来进行membase bucket或者SASL验证，密码可以为空。

　　　　6.memcachedProtocol    可选项
　　　　定义memcached协议，默认使用text文本，出属性指明memcached使用的存储协议。只支持text或者binary。

　　　　7.sticky    可选项
　　　　定义session方式为黏性或非黏性，默认为true，多个tomcat时需使用非黏性

　　　　8.lockingMode    可选项
　　　　只有非黏性session才使用，默认值为none
　　　　　　none: 从不对session进行锁定
　　　　　　all: session将一直被锁定，知道请求结束
　　　　　　auto: 对于只读请求，session将不会被锁定，如果是非只读请求，则session会被锁定
　　　　　　uriPattern:<regexp>: 通过正则表达式的方式来对请求uri以及查询字符串进行匹配，只有匹配上的才会被锁定。
　　　　9.requestUriIgnorePattern   可选项

　　　　此属性是那些不能改备份Session的请求的正则表达式。如果像css,javascript,图片等静态文件被同一个Tomcat和同一个应用 上下文来提供，这些请求也会通过memcached-session-manager。但是这些请求在一个http会话中几乎没什么改变，所以他们没必要 触发Session备份。所以那些静态文件没必要触发Session备份，你就可以使用此属性定义。此属性必须符合java regex正则规范。
   　　　　 如：".*\.(png|gif|jpg|css|js)$"  

　　　　10.sessionBackupAsync   可选项
　　　　指定Session是否应该被异步保存到Memcached中。 如果被设置为true，backupThreadCount设置起作用，如果设置false，通过sessionBackupTimeout设置的过期时间起作用。

　　　　11.backupThreadCount    可选项
 　　　　用来异步保存Session的线程数，(如果sessionBackupAsync="true")。默认值为cup的内核数。

　　　　12.sessionBackupTimeout    可选项
 　　　　设置备份一个Session所用的时间，如果操作超过时间那么保存失败。此属性只在sessionBackupAsync="false"是起作用。默认100毫秒

　　　　13.operationTimeout    可选项
　　　　从1.6.0版开始使用， 默认值为1000

　　　　14.sessionAttributeFilter    可选项
 　　　　此属性是用来控制Session 中的那个属性值保存到Memcached中的正则表达式。郑则表达式被用来匹配Session中属性名称。如 sessionAttributeFilter="^(userName|sessionHistory)$" 指定了只有"userName"和"sessionHistory"属性保存到Memcached中。依赖于选择的序列化策略。

　　　　15.transcoderFactoryClass    可选项
 　　　　此属性值是创建序列化和反序列化 保存到Memcached中的Session的编码转换器的工厂类名。这个指定的类必须实现了 de.javakaffee.web.msm.TranscoderFactory和提供一个无参的构造方法。例如其他的有效的实现在其他 packages/jars中提供如：msm-kryo-serializer,msm-xstrea-serializer和msm- javolution-serializer.
　　　　默认为 de.javakaffee.web.msm.JavaSerializationTranscoderFactory

　　　　16.copyCollectionsForSerialization    可选项
　　　　默认值为false。

　　　　17.customConverter    可选项
　　　　自己定义特殊的类注册到kryo自定义转换器中，实现序列化

　　　　18.enableStatistics    可选项
 　　　　用来指定是否进行统计。 默认值为true。

　　　　19.enabled   可选项
 　　　　指定Session保存到Memcached中是否可用和是否可以通过JMX进行改变。只用于粘性Session。 默认值为true。

Tomcat Cluster

标签：head   value   负载均衡   reflect   engine   文件中   route   pch   序列   

原文地址：http://www.cnblogs.com/trymybesttoimp/p/6290640.html