ELK最新版实战配置检索nginx日志

标签：logstash1.5.1   kibana4.1   

说明: 本文只是对相应的功能进行简介，并不会具体介绍部署方案，因为所有的包都是使用的tar.gz格式解压直接可用的，如果有什么不懂的地方或是本人有说错的地方，欢迎大家提问和质疑，也欢迎大家一起交流学习。

环境：

 OS:ubuntu14.0

 Kernel:3.13.0-24-generic

 logstash:1.5.1

 elasticsearch:1.6.0

 kibana:4.1

 nginx:1.9.1

 tomcat:7.0

 java:1.7.0

Step1:

 所有ELK的安装包都可以去官网下载，虽然速度稍慢，但还可以接受，官网地址：

    https://www.elastic.co/

Step2：

 配置安装nginx，这里不做详细安装介绍，有需要请参考以下链接：

    http://note.youdao.com/share/?id=41198b582303e7cae269763f285f3bfc&type=note

 nginx日志格式配置：

log_format  www_log  ‘$remote_addr - $remote_user [$time_local] "$request" $request_time ‘
                     ‘$status $body_bytes_sent "$http_referer" ‘
                     ‘"$http_user_agent" "$http_x_forwarded_for"‘;

Step3：

 在Logstash1.5.1版本，pattern的目录已经发生改变，存储在/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.1.10/目录下，但是好在配置引用的时候是可以对patterns的目录进行配置的，所以本人在Logstash的根目录下新建了一个patterns目录。而配置目录在1.5.1版本中也不存在了，如果是rpm包安装的，可以在/etc/logstash/conf.d/下面进行配置，但个人测试多次，这样启动经常性的失败，目前还没有去分析原因(个人不推荐使用RPM包安装)。所以大家可以采用Nohup或者screen的方式进行启动

 专属nginx的pattern配置：

NGINXACCESS %{IP:client} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{HOST:domain} %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:useragent} "(%{IP:x_forwarder_for}|-)"

以上格式是本人在以下网址一点一点测试出来的，其实的每一个%后面跟的参数都对应了nginx日志的相应内容（如果有其它日志检索的需要，可以在“http://grokdebug.herokuapp.com/”进行格式的测试）。通过logstash的filter功能中的grok方法，引用相关的pattern，对日志内容进行分类传输给elasticsearch，这样才能在Kibana上根据标签检索想要的信息。

Step4：

 logstash启动配置(conf/log.conf)：

input {
    file {
        type => "test_nginx"
        path => "/opt/nginx/logs/access.log"
        }
    file {
        type => "test_tomcat"
        path => "/opt/tomcat/logs/catalina.out"
        }
}
filter {
    grok {
        type => "test_nginx"
        pattern => "%{NGINXACCESS}"
        patterns_dir => ["/data/log_monitor/logstash/pattern"]
        }
    geoip {
        type => "test_nginx"
        source => "client"
        add_tag => "[geoip]"
        }
}
#说明，在这里引用了geoip模块，但是此模块在国内用起来不是很理想，国内的网络环境太复杂了。另外，配置的时候注意类型及其各个参数的对应，不然检索的时候可能会失败。
output {
    elasticsearch {
        type => "test_nginx"
        host => "192.168.0.1"
        }
    elasticsearch {
        type => "test_tomcat"
        host => "192.168.0.1"
        }
}

Step5：

建议安装elasticsearh的head扩展模块，可以通过网页查看集群及日志的状态，安装方法：

sh elasticsearch/bin/plugin -install mobz/elasticsearch-head

访问地址：

http://192.168.0.1:9200/_plugin/head/

Step6：

启动ELK

nohup sh logstash/bin/logstash -f logstash/conf/log.conf &
nohup sh elastic/bin/elastcisearch &
nohup sh kibana/bin/kibana &

编后语：看起来是不是很简单？本人在安装完成后，觉得十分不易，其它论坛网站也有不少文档可以参考，但是说的内容都不是很清晰。其实我个人也是看了许久官网文档介绍才搞清楚怎么回事，提醒一下，官方文档（虽然是英文的）已经说明的很清楚了，仔细发现与观察，很快就能掌握。目前正在深入学习Kibana相关的功能模块，如果有所成果，一定会再次分享！

本文出自 “致信” 博客，请务必保留此出处http://leon0long.blog.51cto.com/3011404/1671966

ELK最新版实战配置检索nginx日志

标签：logstash1.5.1   kibana4.1   

原文地址：http://leon0long.blog.51cto.com/3011404/1671966