在上一遍博文中我们介绍了Nginx容器访问日志收集的方案，我们使用EFK的架构来完成对容器日志内应用日志的收集，如果不知道什么是EFK架构，那么请访问以下链接获取相关的帮助
Nginx容器日志收集方案fluentd+elasticsearch+kilbana
如果你已经认真阅读了上面的链接，并撑握了其用法，那么再来看本博文（针对于初学者），下面假设我们已经搭建好了上一讲所需要的基础环境，我们接下来就直接开始步入正题。
在步入正题之前我们首先需要确认我们需要完成的目标与效果，同样我们在启动Tomcat容器的时候使用fluentd日志驱动，将标准输出的日志发送到fluentd服务端，然后通过fluentd服务端处理日志发送至ES，最后再通过kilbana展示日志。就这么简单？NO NO NO!!!经测试默认情况下Tomcat容器（docker hub官方镜像）内catalina的日志会自动从stdout输出，并发送到fluentd服务端，但access日志不会，这是我们第一个需要解决的技术问题，另外Tomcat的日志默认情况下是每天滚动生成，每天日志名称都不一样，这是我们需要解决的第二个问题，假设我们解决了以上两个问题，最后还会存在一个问题，也就是我们输出的日志有两种类型，我们又如何通过fluentd服务端区分不同的日志，并发送到ES存储为不同的Index。我们明白了目标和技术难题下面我们就一步一步来解决。
第一个问题解决方法（先解决第二个问题再解决第一个问题）：
我们可以手工指定将access日志输出到/dev/stdout，所以此方法刚下载下来的镜像无法直接使用，我们需要重新build该镜像创建一个/dev/stdou的软链接到Tomcat的access日志文件路径。
ln -s /dev/stdout /usr/local/tomcat/logs/localhost_access_log.txt
第二个问题解决方法：
默认docker hub官方的tomcat镜像的日志是每天滚动生成的，所以我们需要重新build该镜像，关闭日志的滚动生成
关闭catalina日志的滚动生成
编辑容器内配置文件：/usr/local/tomcat/conf/logging.properties
#下面这一行是已经存在的一行，用来定义文件的前缀 1catalina.org.apache.juli.AsyncFileHandler.prefix = catalina. #下面两行是需要加入的内容，分别为定义文件的后缀和关闭日志轮替，最终日志名称为catalina.out 1catalina.org.apache.juli.AsyncFileHandler.suffix = out 1catalina.org.apache.juli.AsyncFileHandler.rotatable = False
关闭access日志的滚生成
编辑配置文件：/usr/local/tomcat/conf/server.xml
#配置中rotatable="false"是我们加入的内容，而pattern里面的内容是我们需要修改为的内容，用来将访问日志转换为json格式用来关闭日志的轮替，最终日志名称为localhost_access_log.txt
<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
prefix="localhost_access_log" suffix=".txt"
pattern="{"client":"%h",
"client user":"%l",
"authenticated":"%u",
"access time":"%t",
"method":"%r",
"status":"%s",
"send bytes":"%b",
"Query?string":"%q",
"partner":"%{Referer}i",
"Agent version":"%{User-Agent}i"}"
rotatable="false" />第三个问题解决方法：
这里我们可以采用通过fluentd服务端对收集过来的日志再进行过滤，分类重新打标签，最后再发送到ES存为不同的Index，修改fluentd服务端配置文件如下：
#如果没有rewrite-tag-filter插件请安装gem install fluent-plugin-rewrite-tag-filter
<source>
@type forward
port 24224
bind 0.0.0.0
</source>
#下面根据tomcat.test.docker标签进行过滤，因为里面有两种日志输出，分别为access和catalina
<match tomcat.test.docker>
@type copy
<store>
@type rewrite_tag_filter
#这里是匹配我们的catalina日志，根据log字段用正则匹配，这里需要根据自己字段进行修改正则
rewriterule1 log ^\d.*$ catalina.${tag}
</store>
<store>
@type rewrite_tag_filter
#因为我们的访问日志转换为了json，所以开头一定为{，这里根据正则匹配，匹配到后重新打tag
rewriterule1 log ^{.*$ access.${tag}
</store>
</match>
#对访问日志做json转换，**代表任何字符
<filter access.**>
@type parser
format json
key_name log
</filter>
#将访问日志输出到ES，索引名为tomcat.test.docker.access
<match access.**>
@type elasticsearch
host 192.168.1.23
port 9200
logstash_format true
logstash_prefix tomcat.test.docker.access
logstash_dateformat %Y-%m-%d
flush_interval 5s
type_name docker_container_log
include_tag_key true
</match>
#将catalina日志输出到ES，索引名为tomcat.test.docker.catalina
<match catalina.**>
@type elasticsearch
host 192.168.1.23
port 9200
logstash_format true
logstash_prefix tomcat.test.docker.catalina
logstash_dateformat %Y-%m-%d
flush_interval 5s
type_name docker_container_log
include_tag_key true
</match>完成以上配置以后我们只要启动我们的fluentd服务端服务和Tomcat容器，并访问下我们的Tomcat站点，这时候就可以在ES中查看到我们所需要的Index了
systemctl start td-agent docker run -dit -p 80:8080 --log-driver=fluentd --log-opt fluentd-address=192.168.3.232:24224 --log-opt tag="tomcat.test.docker" tomcat
上面需要注意tag，需要和fluentd服务端配置文件里面接收的tag一样
最后还有一个技术问题，一直没有解决，需要大家独立思考，如果有好的解决方案可以在博文中留言，如果后续我解决了，会及时更新此博文。问题就是catalina的错误日志多行合并处理，目前没有找到适合的方法
.
本文出自 “蓝色_风暴” 博客，转载请与作者联系！
Tomcat容器日志收集方案fluentd+elasticsearch+kilbana
原文地址：http://270142877.blog.51cto.com/12869137/1951159
