码迷，mamicode.com
首页 > 其他好文 > 详细

Nginx+Tomcat搭建集群环境

时间：2018-05-05 14:48:34      阅读：206      评论：0      收藏：0      [点我收藏+]

标签：Java开发   Tomcat   Nginx   集群架构   单机部署多个Tomcat实例   

集群概述与架构介绍

Tomcat集群能带来什么：

  • 提高服务的性能，例如计算处理能力、并发能力等，以及实现服务的高可用性
  • 提供项目架构的横向扩展能力，增加集群中的机器就能提高集群的性能

Tomcat集群实现方式：

  • Tomcat集群的实现方式有多种，最简单的就是通过Nginx负载进行请求转发来实现

Tomcat单机架构图：
技术分享图片

可能看了上面的Tomcat单机的架构图后，会 ”想当然“ 的觉得Tomcat集群架构是这样子的：
技术分享图片

这种 ”想当然“ 的Tomcat集群会带来什么问题：

  • Session登录信息存储及读取的问题
  • 服务器定时任务并发的问题
  • ......

所以架构的演进并不是 ”想当然“ 的那么简单，当我们的架构随着业务的需求进行演进时，就可能会发生代码上的改动，以及其他各方面配置及机器的改动，并不是单纯的增加Tomcat机器就行了。因为架构的演进都不是一蹴而就的，编程是一个遇见问题解决问题的过程，所以我们不可能一下子就设计出一个完美的架构，而且也不存在完美的架构，只有合适的架构。

常见的Tomcat集群解决方案：

  • 采用 nginx 中的 ip hash policy 来保持某个ip始终连接在某一个机器上
    • 优点：可以不改变现有的技术架构，直接实现横向扩展，省事。但是缺陷也很明显，在实际的生产环境中，极少使用这种方式
    • 缺点：1.单止服务器请求（负载）不均衡，这是完全依赖 ip hash 的结果。2.客户机ip动态变化频繁的情况下，无法进行服务，因为可能每次的ip hash都不一样，就无法始终保持只连接在同一台机器上。
  • 采用redis或memchche等nosql数据库，实现一个缓存session的服务器，当请求过来的时候，所有的Tomcat Server都统一往这个服务器里读取session信息。这是企业中比较常用的一种解决方案，所以大致的Tomcat集群的架构图如下：

技术分享图片

单机部署多个Tomcat实例（Linux）

由于考虑到在学习时，可能没有足够的机器资源去用多台机器部署多个Tomcat实例，所以本节将简单介绍一下如何在Linux系统环境下，单机部署多个Tomcat实例。多机就不介绍了，因为多机就是一台机器安装一个Tomcat就行了，不需要做额外的更改。

1.到Tomcat官网中，复制Tomcat的下载链接进行下载并解压到相应的目录下：

[root@study-01 /usr/local/src]# wget http://mirrors.hust.edu.cn/apache/tomcat/tomcat-9/v9.0.7/bin/apache-tomcat-9.0.7.tar.gz
[root@study-01 /usr/local/src]# tar -zxvf apache-tomcat-9.0.7.tar.gz -C /usr/local/

2.安装好Tomcat后，将Tomcat目录拷贝多份出来。并更改一下目录名称：

[root@study-01 /usr/local]# cp -r apache-tomcat-9.0.7 ./tomcat9-02
[root@study-01 /usr/local]# mv apache-tomcat-9.0.7 ./tomcat9-01

3.配置环境变量：

[root@study-01 ~]# vim /etc/profile  # 在文件末尾增加如下内容
export CATALINA_BASE=/usr/local/tomcat9-01
export CATALINA_HOME=/usr/local/tomcat9-01
export TOMCAT_HOME=/usr/local/tomcat9-01

export CATALINA_2_BASE=/usr/local/tomcat9-02
export CATALINA_2_HOME=/usr/local/tomcat9-02
export TOMCAT_2_HOME=/usr/local/tomcat9-02
[root@study-01 ~]# source /etc/profile  # 使配置文件生效

4.第一个Tomcat不需要动，只需要修改第二个Tomcat的相关配置，首先编辑第二个Tomcat安装目录中bin目录下的catalina.sh文件：

[root@study-01 ~]# cd /usr/local/tomcat9-02/bin/
[root@study-01 /usr/local/tomcat9-02/bin]# vim catalina.sh  # 找到如下那行注释，在该注释下，增加两行配置
# OS specific support.  $var _must_ be set to either true or false.
export CATALINA_BASE=$CATALINA_2_BASE
export CATALINA_HOME=$CATALINA_2_HOME
[root@study-01 /usr/local/tomcat9-02/bin]#

5.然后编辑第二个Tomcat安装目录中conf目录下的server.xml文件，在该文件中需要修改三个端口：

[root@study-01 /usr/local/tomcat9-02/bin]# cd ../conf/
[root@study-01 /usr/local/tomcat9-02/conf]# vim server.xml
# 第一个端口，Server port节点端口
<Server port="9005" shutdown="SHUTDOWN">

# 第二个端口，Connector port节点端口，也即是Tomcat访问端口
<Connector port="9080" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443" URIEncoding="UTF-8" />

# 第三个端口，Connector port节点端口
<Connector port="9009" protocol="AJP/1.3" redirectPort="8443" />        
[root@study-01 /usr/local/tomcat9-02/conf]#

6.修改完成后，分别进入两个Tomcat的bin目录，执行脚本启动Tomcat：

# 启动Tomcat02
[root@study-01 /usr/local/tomcat9-02/conf]# cd ../bin/
[root@study-01 /usr/local/tomcat9-02/bin]# ./startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat9-02
Using CATALINA_HOME:   /usr/local/tomcat9-02
Using CATALINA_TMPDIR: /usr/local/tomcat9-02/temp
Using JRE_HOME:        /usr/local/jdk1.8
Using CLASSPATH:       /usr/local/tomcat9-02/bin/bootstrap.jar:/usr/local/tomcat9-02/bin/tomcat-juli.jar
Tomcat started.
# 启动Tomcat01
[root@study-01 /usr/local/tomcat9-02/bin]# cd ../../tomcat9-01/bin/
[root@study-01 /usr/local/tomcat9-01/bin]# ./startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat9-01
Using CATALINA_HOME:   /usr/local/tomcat9-01
Using CATALINA_TMPDIR: /usr/local/tomcat9-01/temp
Using JRE_HOME:        /usr/local/jdk1.8
Using CLASSPATH:       /usr/local/tomcat9-01/bin/bootstrap.jar:/usr/local/tomcat9-01/bin/tomcat-juli.jar
Tomcat started.
[root@study-01 /usr/local/tomcat9-01/bin]#

启动完成后，检查监听的端口号及进程：

[root@study-01 ~]# netstat -lntp |grep java
tcp6       0      0 :::8009                 :::*                    LISTEN      2846/java           
tcp6       0      0 127.0.0.1:9005          :::*                    LISTEN      2784/java           
tcp6       0      0 :::8080                 :::*                    LISTEN      2846/java           
tcp6       0      0 :::9009                 :::*                    LISTEN      2784/java           
tcp6       0      0 :::9080                 :::*                    LISTEN      2784/java           
tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      2846/java           
[root@study-01 ~]# ps aux |grep java
root       2784  5.6  1.5 7105356 123956 pts/0  Sl   06:24   0:06 /usr/local/jdk1.8/bin/java -Djava.util.logging.config.file=/usr/local/tomcat9-02/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Dignore.endorsed.dirs= -classpath /usr/local/tomcat9-02/bin/bootstrap.jar:/usr/local/tomcat9-02/bin/tomcat-juli.jar -Dcatalina.base=/usr/local/tomcat9-02 -Dcatalina.home=/usr/local/tomcat9-02 -Djava.io.tmpdir=/usr/local/tomcat9-02/temp org.apache.catalina.startup.Bootstrap start
root       2846  6.5  1.4 7105356 119712 pts/0  Sl   06:24   0:05 /usr/local/jdk1.8/bin/java -Djava.util.logging.config.file=/usr/local/tomcat9-01/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Dignore.endorsed.dirs= -classpath /usr/local/tomcat9-01/bin/bootstrap.jar:/usr/local/tomcat9-01/bin/tomcat-juli.jar -Dcatalina.base=/usr/local/tomcat9-01 -Dcatalina.home=/usr/local/tomcat9-01 -Djava.io.tmpdir=/usr/local/tomcat9-01/temp org.apache.catalina.startup.Bootstrap start
root       2904  0.0  0.0 112680   976 pts/0    S+   06:25   0:00 grep --color=auto java
[root@study-01 ~]#

最后在浏览器上访问两个不同的端口，看看是否能访问到Tomcat默认的首页。如下：
技术分享图片
技术分享图片

至此，我们的单机部署多个Tomcat实例就完成了，如果想继续部署，依照此法继续即可。

注：不同的Tomcat实例使用的端口号在系统中必须不能重复，必须是系统没有使用的端口才行，不然会产生端口冲突。

Nginx负载均衡配置，常用策略，场景及特点简介

Nginx负载均衡配置及策略：

  • 轮询（默认）

    • 优点：实现简单
    • 缺点：不考虑每台服务器的处理能力
    • 配置示例如下： 
      upstream www.xxx.com {
# 需要负载的server列表
server www.xxx.com:8080;
server www.xxx.com:9080;
}
  • 权重，使用的较多的策略
    • 优点：考虑了每台服务器处理能力的不同，哪台机器性能高就给哪台机器的权重高一些
    • 配置示例如下： 
      upstream www.xxx.com {
# 需要负载的server列表，weight表示权重，weight默认为1，如果多个配置权重的节点，比较相对值
server www.xxx.com:8080 weight=15;
server www.xxx.com:9080 weight=10;
}
  • ip hash
    • 优点：能实现同一个用户始终访问同一个服务器
    • 缺点：根据 ip hash 不一定平均
    • 配置示例如下： 
      upstream www.xxx.com {
ip_hash;
# 需要负载的server列表
server www.xxx.com:8080;
server www.xxx.com:9080;
}
  • url hash （第三方插件）
    • 优点：能实现同一个服务访问同一个服务器，也就是根据url进行负载
    • 缺点：和ip hash一样，根据 url hash 分配请求不一定平均，请求频繁的url会请求到同一台服务器上
    • 配置示例如下（需要事先安装插件） 
      upstream www.xxx.com {
# 需要负载的server列表
server www.xxx.com:8080;
server www.xxx.com:9080;
hash $request_uri;
}
  • fair （第三方插件）
    • 特点：按后端服务器的响应时间来分配请求，响应时间短的优先分配
    • 配置示例如下（需要事先安装插件） 
      upstream www.xxx.com {
# 需要负载的server列表
server www.xxx.com:8080;
server www.xxx.com:9080;
fair;
}

一些负载均衡参数简介：

upstream www.xxx.com {
    ip_hash;
    # 需要负载的server列表
    server www.xxx.com:8080 down;  # down表示当前的server暂时不参与负载
    server www.xxx.com:9080 weight=2;  # weight默认值为1，weight的值越大，负载的权重就越大  
    server www.xxx.com:7080 backup;  # 其他所有的非backup机器，在down掉或者很忙的时候，才请求backup机器，也就是一个备用机器
    server www.xxx.com:6080;
}

Nginx+Tomcat搭建集群

在上文中我们已经介绍了如何在单机上部署多个Tomcat实例，本节将介绍如何安装Nginx，并且使用Nginx+Tomcat搭建集群。

1.到nginx官网上获取下载链接，然后到Linux上下载并解压编译nginx：

[root@study-01 ~]# cd /usr/local/src/
[root@study-01 /usr/local/src]# wget http://nginx.org/download/nginx-1.14.0.tar.gz
[root@study-01 /usr/local/src]# tar -zxvf nginx-1.14.0.tar.gz
[root@study-01 /usr/local/src]# cd nginx-1.14.0
[root@study-01 /usr/local/src/nginx-1.14.0]# ./configure --prefix=/usr/local/nginx
[root@study-01 /usr/local/src/nginx-1.14.0]# echo $?
0
[root@study-01 /usr/local/src/nginx-1.14.0]# make && make install
[root@study-01 /usr/local/src/nginx-1.14.0]# echo $?
0
[root@study-01 /usr/local/src/nginx-1.14.0]# cd ../../nginx/
[root@study-01 /usr/local/nginx]# ls  # 安装完成
conf  html  logs  sbin
[root@study-01 /usr/local/nginx]#

2.创建nginx的主配置文件，因为我们不使用nginx自带的配置文件：

[root@study-01 /usr/local/nginx/conf]# mv nginx.conf nginx.conf.bak
[root@study-01 /usr/local/nginx/conf]# vim nginx.conf  # 内容如下
user nobody nobody;
worker_processes 2;
error_log /usr/local/nginx/logs/nginx_error.log crit;
pid /usr/local/nginx/logs/nginx.pid;
worker_rlimit_nofile 51200;
events
{
    use epoll;
    worker_connections 6000;
}
http
{
    include mime.types;
    default_type application/octet-stream;
    server_names_hash_bucket_size 3526;
    server_names_hash_max_size 4096;
    log_format combined_realip ‘$remote_addr $http_x_forwarded_for [$time_local]‘
    ‘ $host "$request_uri" $status‘
    ‘ "$http_referer" "$http_user_agent"‘;
    sendfile on;
    tcp_nopush on;
    keepalive_timeout 30;
    client_header_timeout 3m;
    client_body_timeout 3m;
    send_timeout 3m;
    connection_pool_size 256;
    client_header_buffer_size 1k;
    large_client_header_buffers 8 4k;
    request_pool_size 4k;
    output_buffers 4 32k;
    postpone_output 1460;
    client_max_body_size 10m;
    client_body_buffer_size 256k;
    client_body_temp_path /usr/local/nginx/client_body_temp;
    proxy_temp_path /usr/local/nginx/proxy_temp;
    fastcgi_temp_path /usr/local/nginx/fastcgi_temp;
    fastcgi_intercept_errors on;
    tcp_nodelay on;
    gzip on;
    gzip_min_length 1k;
    gzip_buffers 4 8k;
    gzip_comp_level 5;
    gzip_http_version 1.1;
    gzip_types text/plain application/x-javascript text/css text/htm 
    application/xml;
    add_header Access-Control-Allow-Origin *;
    include vhost/*.conf;
}
[root@study-01 /usr/local/nginx/conf]# mkdir ./vhost  # 创建虚拟主机配置文件的存放目录
[root@study-01 /usr/local/nginx/conf]# cd vhost/
[root@study-01 /usr/local/nginx/conf/vhost]# vim www.xxx.com.conf  # 创建虚拟主机配置文件，内容如下：
upstream 192.168.190.129 {
        # 需要负载的server列表，可以直接使用ip
        server 192.168.190.129:8080 weight=1;
        server 192.168.190.129:9080 weight=3;
        # server www.xxx.com:8080 weight=1;
        # server www.xxx.com:9080 weight=3;
}

server{
  listen 80;
  autoindex on;
  server_name 192.168.190;
  access_log /usr/local/nginx/logs/access.log combined;
  index index.html index.htm index.jsp;

  location / {
        proxy_pass http://192.168.190.129;
        add_header Access-Control-Allow-Origin *;
  }
}
[root@study-01 /usr/local/nginx/conf/vhost]#

3.检查nginx配置文件，显示没问题则启动nginx服务：

[root@study-01 /usr/local/nginx/conf/vhost]# cd ../../sbin/
[root@study-01 /usr/local/nginx/sbin]# ./nginx -t  # 检查nginx配置文件
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@study-01 /usr/local/nginx/sbin]# ./nginx -c /usr/local/nginx/conf/nginx.conf  # 启动nginx服务
[root@study-01 /usr/local/nginx/sbin]# netstat -lntp | grep nginx  # 检查端口是否已监听
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      5676/nginx: master  
[root@study-01 /usr/local/nginx/sbin]# ps aux |grep nginx  # 检查nginx进程是否正常
root       5676  0.0  0.0  20492   624 ?        Ss   19:57   0:00 nginx: master process ./nginx -c /usr/local/nginx/conf/nginx.conf
nobody     5677  0.0  0.0  22936  3220 ?        S    19:57   0:00 nginx: worker process
nobody     5678  0.0  0.0  22936  3220 ?        S    19:57   0:00 nginx: worker process
root       5683  0.0  0.0 112680   976 pts/0    S+   19:58   0:00 grep --color=auto nginx
[root@study-01 /usr/local/nginx/sbin]#

4.启动两个Tomcat实例：

[root@study-01 ~]# cd /usr/local/tomcat9-01/bin/
[root@study-01 /usr/local/tomcat9-01/bin]# ./startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat9-01
Using CATALINA_HOME:   /usr/local/tomcat9-01
Using CATALINA_TMPDIR: /usr/local/tomcat9-01/temp
Using JRE_HOME:        /usr/local/jdk1.8
Using CLASSPATH:       /usr/local/tomcat9-01/bin/bootstrap.jar:/usr/local/tomcat9-01/bin/tomcat-juli.jar
Tomcat started.
[root@study-01 /usr/local/tomcat9-01/bin]# cd /usr/local/tomcat9-02/bin/
[root@study-01 /usr/local/tomcat9-02/bin]# ./startup.sh 
Using CATALINA_BASE:   /usr/local/tomcat9-02
Using CATALINA_HOME:   /usr/local/tomcat9-02
Using CATALINA_TMPDIR: /usr/local/tomcat9-02/temp
Using JRE_HOME:        /usr/local/jdk1.8
Using CLASSPATH:       /usr/local/tomcat9-02/bin/bootstrap.jar:/usr/local/tomcat9-02/bin/tomcat-juli.jar
Tomcat started.
[root@study-01 /usr/local/tomcat9-02/bin]#

5.修改第二个Tomcat实例index.jsp文件内容，以作为两个Tomcat实例的区别，方便一会验证负载均衡是否已成功生效：

[root@study-01 ~]# vim /usr/local/tomcat9-02/webapps/ROOT/index.jsp 
<div id="congrats" class="curved container">
    <h2>I‘m Tomcat 2</h2>
</div>
[root@study-01 ~]#

6.设置防火墙规则，开放80端口：

[root@study-01 ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent
success
[root@study-01 ~]# firewall-cmd --reload
success
[root@study-01 ~]#

7.使用浏览器进行访问，验证nginx的负载均衡是否已成功生效：
技术分享图片
技术分享图片

如上，验证成功，我们配置的nginx的负载均衡成功。到此为止，我们的Tomcat集群环境就搭建完成了。

Nginx+Tomcat搭建集群环境

标签：Java开发   Tomcat   Nginx   集群架构   单机部署多个Tomcat实例   

原文地址：http://blog.51cto.com/zero01/2112989
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！