Linux下使用Apache的Httpd+Mod_jk+Tomcat搭建Web集群服务

Linux下使用Apache的Httpd+Mod_jk+Tomcat搭建Web集群服务

目的

?? 使用多个tomcat服务器来对请求进行分流，防止单个服务器压力过重。这里为了简单，只使用两个tomcat。

软件

• apache httpd-2.2.31(下载地址：https://httpd.apache.org/download.cgi)
• apache tomcat-7.0.69(下载地址：https://tomcat.apache.org/download-70.cgi)
• tomcat-connectors-1.2.41(即mod_jk，下载地址：https://tomcat.apache.org/download-connectors.cgi)
  软件都在/home/hey/apache-src 下

单机版

? ? 即apache与几个tomcat都部署在一个机器上，实际上分布式集群应该是apache部署在主节点上，多个tomcat分别在不同的机器上. 如果tomcat都在一个机器上，那么使用不同的端口。

建立一个apache目录

?? cd /home/hey
?? mkdir apache

安装httdp

• 解压httpd并进入目录
  tar -zxvf httpd-2.2.31.tar.gz
  mv httpd-2.2.31 httpd
  cd httpd
• 进行编译参数配置
  ./configure –prefix=/home/hey/apache/apache –enable-mods-shared=all
• 编译安装
  make
  make install
  如果过程中报Cannot use an external APR with the bundled APR-util，那么还需要安装apr和apr-util，如果httpd是2.4+版本，那么还需要先下载apr和apr-util，详细参见：http://blog.csdn.net/bluishglc/article/details/6867358。

• 安装结束，测试启动
  启动
  cd /home/hey/apache/apache/bin/apachectl start
  停止
  cd /home/hey/apache/apache/bin/apachectl stop
  启动后，你在机器上输入这台机器的ip，显示It works 则表明配置成功.

• 为了直接使用apacheclt命令，配置~/.bash_profile
  vi ~/.bash_profile
  HTTPD_HOME=/home/hey/apache/apache
  PATH=$PATH:$HTTPD_HOME/bin
  export HTTPD_HOME

安装tomcat-connectors-1.2.41

• 解压源文件
  tar -zxvf tomcat-connectors-1.2.41-src.tar.gz
• 进入native目录
  cd tomcat-connectors-1.2.41-src/native
• 进行编译参数配置
  ./buildconf.sh
  ./configure –with-apx=/home/hey/apache/apache/bin/apxs \
  –with-java-home=$JAVA_HOME –with-java-platform=2\
  –enable-jni
• 编译安装
  make
  make install
• 是否成功
  如果成功，则在httpd安装目录下/home/hey/apache/apache/modules可以看到mod_jk.so文件

安装读个tomcat(已两个为例)

• 解压tomcat
  tar -zxvf apache-tomcat-7.0.69.tar.gz
  mv apache-tomcat-7.0.69 tomcat1
  cp -r tomcat1 ../apache/tomcat1
  cp -r ../apache/tomcat1 ../apache/tomcat2

集群配置

1. 配置tomcat
2. 修改端口
   tomcat的配置主要是对tomcat/conf/server.xml文件的配置.
   因为，两个tomcat都部署在一台机器上，即一台机器上运行两个tomcat的实例，因此，要配置不同的端口，即要对server.xml中配置的所有端口进行修改，避免端口被占用。这里对所有的端口在默认端口上加上1000。

如下：

• 修改tomcat1的server.xml的SHUTDOWN端口8005为9005，tomcat2的8005为10005，如下：

<Server port="8005" shutdown="SHUTDOWN">

?? 改为：

<Server port="9005" shutdown="SHUTDOWN">

?? 同理，tomcat2的改为10005。

• 分别修改tomcat1与tomcat2的HTTP Connector端口，从默认的8080分别改为9080与10080，如下：

  <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />

?? 改为：

  <Connector port="9080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />

?? 同理，tomcat2的改为10080。

• 分别修改tomcat1与tomcat2的AJP Connector端口，从默认的8009分别改为9009与10009，如下：

    <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

?? 改为：

    <Connector port="9009" protocol="AJP/1.3" redirectPort="8443" />

?? 同理，tomcat2的改为10009。
3. tomcat集群配置
?? 需要再在server.xml文件改动两处：

• 为<Engine>元素设置jvmRoute属性
  在server.xml文件中可以找到注释掉的带jvmRoute的<Engine>配置，如下图：
  

?? 参考这个配置就可以了，在为被注释掉的<Engine>加上jvmRoute属性，如下：

  <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">

?? 引用[1]: 对于jvmRoute的取值要特别注意：其值必须于后面要提到的mod_jk的workers.properties文件中结点名相一致！由于那个文件中结点名为tomcat1和tomcat2,因此，此处我们必须设定jvmRoute的值为这两个值之一。关于这一点在tomcat官方关于Apache Tomcat Connector的文档 http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html 也有明确提及。jvmRoute值会出现在由该结点创建的session id中，例如：在非集群环境下，一个sessionid可能是 “xxxxxxxxx” 的格式，而在集群环境下，如果当前结点的jvmRtomat1oute被配置为tomcat1,那由该结点生成的sessionid将变成“xxxxxxxxx.tomat1”格式，而mod_jk正是依赖于这个节点后缀实现sticky session的，也就是把所有后缀是tomat1的请求都发送给tomat1结点进行处理。

• 在<Engine>元素中添加机器配置信息
  在tomcat官网中的集群配置文档：http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html 中，有一份默认配置：

        <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                 channelSendOptions="8">

          <Manager className="org.apache.catalina.ha.session.DeltaManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"/>

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.0.0.4"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="auto"
                      port="4000"
                      autoBind="100"
                      selectorTimeout="5000"
                      maxThreads="6"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                 filter=""/>
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
        </Cluster>    

?? 这个默认配置一般可满足要求，需要直接将上面的配置复制到<Engine>元素中便可，这有tomcat便配置完毕。
4. 配置Apache httpd的配置

• mod_jk配置项
  编辑在apache httpd安装目录的conf目录下(此处是/home/hey/apache/apache/conf)的httpd.conf文件，在文件最后追加以下内容：

# Load mod_jk module
LoadModule jk_module modules/mod_jk.so
# Specify jk log file.
JkLogFile /var/log/mod_jk.log
# Specify jk log level [debug/error/info]
JkLogLevel info
# Specify workers.properties, this file tell jk:
# how many nodes and where they are.
JkWorkersFile conf/workers.properties
# Specify which requests should handled by which node.
JkMount /* controller

?? 关于mod_jk配置项的详细内容，可参考：http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html
?? 上述配置中：JkWorkersFile conf/workers.properties 指明由一个workers.properties文件来描述集群结点的情况，因此，我们需要创建这个workers.properties文件，并放置于conf文件夹下。

• 配置workers.properties
  在conf目录下创建该文件，并且写入以下内容：

#所有节点列表，其中controller是一个逻辑结点，负责负载均衡控制，
#如果JkMount中的URL指定给了controller就表示这个请求会被自动散列到某个物理节点上。
#注意：真正负责处理请求的tomcat的名称（这里就是tomcat1,tomcat2)必须于它们在conf/server.xml
#文件中配置的jvmRout的属性值是一致的！
worker.list = controller,tomcat1,tomcat2

#========tomcat1========
worker.tomcat1.port=9009       #ajp13 端口号，在tomcat1下server.xml配置,默认8009,必须要与修改后的一致
worker.tomcat1.host=localhost  #tomcat1的主机地址，如不为本机，请填写ip地址
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor=1    #tomcat1 server的加权比重，值越高，分得的请求越多
#========tomcat2========
worker.tomcat2.port=10009       #ajp13 端口号，在tomcat2下server.xml配置,默认8009,必须要与修改后的一致
worker.tomcat2.host=localhost  #tomcat2的主机地址，如不为本机，请填写ip地址
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1  #tomcat2 server的加权比重，值越高，分得的请求越多

#========controller,负载均衡控制器========
worker.controller.type=lb
worker.controller.balance_workers=tomcat1,tomcat2   #指定分担请求的tomcat，旧版本中的balanced_workers,已不再推荐使用！
worker.controller.sticky_session=1 #sticky_session为1表示，
#当某一 client的session创建之后，后续由该客户端发起的请求，也就是这个session的所有请求都始终由第一次处理该请求的结点
#负责处理（除非该结点挂掉）

?? 到此，所有配置均已完成。
5. 测试

• 创建web应用程序
  使用Eclipse创建Maven webapp程序ClusterTest，注意：一定要在web.xml中加上<distributable/>元素，然后打成war包分别拷贝到tomcat1与tomcat2的webapps下。

• 启动两个tomcat和apache httpd
  (1) 启动apache httpd
  cd ~/apache/apache/bin
  sudo ./apachectl start
  (2) 启动tomcat1
  cd ~/apache/tomcat1/bin
  chmod 755 *.sh
  startup.sh
  (3) 启动tomcat2
  cd ~/apache/tomcat2/bin
  chmod 755 *.sh
  startup.sh

• 多次访问localhost/ClusterTest(远程使用ip/ClusterTest, httpd 默认是80端口)
• 验证
  分别进入~/apache/tomcat1/logs与~/apache/tomcat2/logs，查看localhost_access_log.yyyy-MM-dd.txt，可以看出一些访问请求信息，说明请求被随机分配给了两个tomcat交替执行。
• 另外一种验证方法
  在应用程序中的index.jsp中写入内容为：

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<%@ page import="java.text.SimpleDateFormat"%>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
  <head>
    <title>Tomcat集群测试</title>
  </head>

  <body>
        服务器信息:

    <%
      String dtm = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss").format(new Date());
      System.out.println("["+request.getLocalAddr()+":"+ request.getLocalPort()+"]" + dtm);
      out.println("<br>["+request.getLocalAddr()+":" +request.getLocalPort()+"]" + dtm+"<br>"); 
    %>

    session分发:
    <%
        session.setAttribute("name","dennisit");
        System.out.println("[session分发] session id:"+session.getId());
        out.println("<br>[session分发] session id： " + session.getId()+"<br>");
    %>
     绝对路径
    <%
    String absPath = new java.io.File(application.getRealPath(request.getRequestURI())).getParent();
    System.out.println("Abs Path:"+absPath);
    out.println("Abs Path:"+absPath);
    %>
  </body>
</html>

?? 那么多次在浏览器中输入http://机器的ip/ClusterTest/ 会打印出不同的绝对路径(tomcat1与tomcat2):


上述便说明了启动了不同的tomcat进行分流。

完全集群

?? tomcat分别部署在多台机器上，步骤与单机情况差不多。其中不同机器上的tomcat的server.xml各端口可以一样，不过在<Engine>元素的jvmRoute属性必须配置不一样的名字，如tomcat1、tomcat2 …, 并且在workers.properties文件中配置正确：

• worker.controller.balance_workers=tomcat1,tomcat2…

• 以及在每个tomcat的属性配置正确，如：
  worker.tomcat1.port=自己的ajp13端口号
  worker.tomcat1.host=自己的ip

问题

• 在启动httpd时 ./apachectl start 报(13)Permission denied: make_sock: could not bind to address 0.0.0.0:80
  no listening sockets available, shutting down
  Unable to open logs
  解决: 需要管理员权限 使用sudo 运行该命令

参考资料

[1] http://blog.csdn.net/bluishglc/article/details/6867358

[2] tomcat官方关于tomcat集群配置的文档：
http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html

[3] tomcat官方关于Apache Tomcat Connector的文档
http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html

[4] apache官方关于apache的安装文档
http://httpd.apache.org/docs/2.2/en/install.html

[5] apache官方关于configure参数的文档
http://httpd.apache.org/docs/2.2/en/programs/configure.html#installationdirectories