码迷,mamicode.com
首页 > 其他好文 > 详细

生产环境filebeat logstash配置模板

时间:2018-06-11 13:42:36      阅读:189      评论:0      收藏:0      [点我收藏+]

标签:filebeat logstash配置

filebeat logstash配置模板说明

为了让不同类型的日志记录到不同index,实现日志分类,需要更改默认的配置文件,ELK更新迭代速度很快,网上以前的文档适用于之前的版本

filebeat的docment_type配置项已经在6版本中弃用,请使用本文配置

filebeat配置模板

deploy@Product1:~$ cat /etc/filebeat/filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_server/shared/log/ms.log
  fields:
    log_topics: server
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_websocket/shared/log/ms.log
  fields:
    log_topics: socket
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_admin/shared/log/ms.log
  fields:
    log_topics: admin
output.logstash:
  hosts: ["74.xxx.xx.xx:5044"]
  
  
 deploy@Product3:~$ cat /etc/filebeat/filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_server/shared/log/ms.log
  fields:
    log_topics: server
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_sidekiq/shared/log/ms.log
  fields:
    log_topics: sidekiq
- type: log
  enables: true
  paths:
    - /application/nginx/logs/access810*.log
    - /application/nginx/logs/access.log            日志的位置 
  fields:
    log_topics: nginx     日志注明类型(logstash为不同类型创建不同索引)
output.logstash:
  hosts: ["74.xx.xx.xx:5044"]


logstash配置模板

deploy@Product4:~$ cat /application/logstash-6.2.4/config/02-beats-input.conf
input {
    beats {
#    host => "74.207.240.124"
    codec => plain{ charset => "UTF-8" }
    port => 5044
#    ssl => true
#    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
#    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}
output {
  elasticsearch {
    codec => plain{ charset => "UTF-8" }
    hosts => "http://localhost:9200"
    user => "elastic"
    password => "OFBqKJ8XjSWlX8AWL0xs"
    manage_template => false
    index => "%{[fields][log_topics]}--%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
  }


重新启动 kibana和 filebeat 

可以看到 每天都会生成一个索引按照定义的fields

技术分享图片


生产环境filebeat logstash配置模板

标签:filebeat logstash配置

原文地址:http://blog.51cto.com/dellinger/2127985

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!