码迷,mamicode.com
首页 > 其他好文 > 详细

[ELK]快速搭建简单的日志分析平台

时间:2017-04-28 17:14:27      阅读:261      评论:0      收藏:0      [点我收藏+]

标签:日志分析   文件   next   .com   nes   错误   覆盖   效果   log   

下载ELK(Elasticsearch,Logstash,Kibana)

 

Elasticsearch:wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.tar.gz

Logstash:wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

Kibana:wget https://download.elastic.co/kibana/kibana/kibana-4.1.1-linux-x64.tar.gz 

 

把Elasticsearch,Logstash,Kibana解压到/home/elk

 

1.Elasticsearch

前台启动:/home/elasticsearch-1.4.4/bin/elasticsearch start

后台启动:/home/elasticsearch-1.4.4/bin/elasticsearch -d

config/elasticsearch.yml最后添加两项

# 默认的就好
http.port: 9200
# 增加新的参数,这样Kibana/es插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*"

如果不使用Kibana的同学可以安装Elasticsearch的插件,效果差不多

监控插件:

Head监控:在bin目录下执行plugin install mobz/elasticsearch-head
Marvel图形化监控:在bin目录下执行plugin install mobz/elasticsearch-head

(bin目录执行不了可以试试全路径 /home/elasticsearch-1.4.2/bin/plugin install mobz/elasticsearch-head)

 

2.Logstash

在logstash目录创建一个logstash.conf文件

input {
     file {
        path => ["/Users/Documents/log/*.log"]
        start_position => "beginning"
        type => "logs_test"
        add_field => {"tomcatip" => "192.168.1.1"}
     }
}

filter {
    multiline {
      pattern => "(.*at .*)"
      what => "previous"
    }
}

output {
       elasticsearch {
          host => ["192.168.1.1"]
       }
       stdout {
          codec => rubydebug
       }
}

file

path:自动检查截取目录下的log,可支持模糊文件名 如 catalina.*.log

start_position:默认end,beginning从头开始读

type:自定义类型 可根据项目名起

add_field:增加一个字段tomcatip,用于区分多台服务器

 

filter

multiline pattern:使用正则匹配Message,匹配后根据what来进行下一步操作

what:设置匹配的内容是向前合并还是向后合并 previous, next

ps:列子中的正则是解决错误合并的问题

 

output

可以选择redis和elasticsearch 这里只说elasticsearch

host:配置你的es服务器的ip地址

codec:调试插件 一般有plain、json、json_lines、rubydebug、multiline

 

前台启动:bin/logstash -f logstash-simple.conf

后台启动:nohup bin/logstash -f logstash-simple.conf

如果启动报错可以下载logstash-contrib-1.4.2试试,下载完成解压覆盖到logstash目录即可

 

3.Kibana

进入kibana目录,bin/kibana

打开http://ip:5601/ 看到这个界面就说明启动成功了

技术分享

 

kibana的操作教程下回分解

[ELK]快速搭建简单的日志分析平台

标签:日志分析   文件   next   .com   nes   错误   覆盖   效果   log   

原文地址:http://www.cnblogs.com/nicori/p/6767845.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!