码迷,mamicode.com
首页 > 其他好文 > 详细

统一日志ELK部署配置(1)——filebeat

时间:2018-06-13 16:30:43      阅读:477      评论:0      收藏:0      [点我收藏+]

标签:日志收集

一、整体架构
技术分享图片

二、filebeat介绍
fielbeat是基于logstash-forwarder的源码改造而来,换句话说:filebeat就是最新版的logstash-forwarder。他负责从当前服务器获取日志然后转发给Logstash或Elasticserach进行处理。
Filebeat是一个日志文件托运工具,做为一个agent安装到服务器上,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。
Filebeat包含两个主要的组件,prospectors(探测器)和harvesters(收割机)。
prospectors负责管理所有的harvesters,和发现所有的需要读取的日志源。
如果输入源是log(日志),prospectors根据配置路径,查找驱动器上的所有匹配的日志文件,并为每个文件启动一个收割机。
harvesters负责一行一行地读取日志文件,并将内容发送到指定的输出。
Filebeat目前支持两种prospector类型,log和stdin,每种类型都可以被定义多次。

三、filebeat特点
1、部署简单:二进制包,无其他依赖,直接下周使用;
2、配置简单:基于YAML,配置简单,格式明了;
3、轻量级:定位于docker和虚拟机的日志收集,运行占用资源在10M左右;单核CPU的消耗;
4、性能高:性能比logstash高很多;
5、记录收集位置:能记录收集的内容位置,重启后能基于在原基础上收集;
6、支持多行合并:保证java异常堆栈记录的完整性;
7、不支持事务;
8、功能单一:基于文件内容采集;能写入kafka、redis、es,但是不支持从其读;

四、filebeat安装
下载安装非常的简单:
1、rpm -vi filebeat-5.6.4-x86_64.rpm
2、下载tar包,tar -zxvf filebeat-5.6.4-x86_64.tar.gz
然后通过./filebeat -c filebeat.yml 命令启动

五、filebeat配置
#=========================== Filebeat prospectors =============================

filebeat.prospectors:

  • input_type: log
    paths:

    • ‘/mnt/iss/service/order/nlogs/.log‘ #==监听日志文件全路径 全部监听用,否则直接写具体文件名,也可模糊匹配。多个目录时增加一行配置即可

    encoding: utf-8 #==编码格式
    exclude_files: [".gz$ | .gc."] #==排除监听的文件

    fields:
    serverName: ‘user-service-006‘ ##==额外添加的字段,用于区分服务器名称
    type: service-log ##==多种服务日志时的区分字段
    fields_under_root: true ##==是否直接添加这些字段到日志内容中
    scan_frequency: 3s ##==扫描文件的频率
    #===== Multiline options
    multiline: ##==多行日志的合并配置,用于异常堆栈内容时的处理
    pattern: ‘^{"date":‘
    negate: true
    match: after
    timeout: 2s
    backoff: 1s
    max_backoff: 3s

    close_renamed: false ##文件重命名后是否停止监听
    close_removed: true ##文件被删除后是否停止监听
    tail_files: true ## 是否从文件末尾读取(启动时)
    enabled: true
    filebeat.spool_size: 2048 ## 事件发送的阀值,超过阀值,强制刷新网络连接
    filebeat.idle_timeout: 2s ## 事件发送的超时时间,即使没有超过阀值,也会强制刷新网络连接

    ignore_older: 24h ##日志文件监听超时时间阀值
    #================================ Outputs =====================================

#-------------------------- kafka output ------------------------------
output.kafka:
#== initial brokers for reading cluster metadata
hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]

#== message topic selection + partitioning
topic: ‘elk-service-log‘
partition.round_robin:
reachable_only: false

required_acks: 1
compressmax_message_bytes: 1000000
compression: snappy
timeout: 5m
keep_alive: 30s

logging.level: info

统一日志ELK部署配置(1)——filebeat

标签:日志收集

原文地址:http://blog.51cto.com/jfzhang/2128869

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!