码迷,mamicode.com
首页 > 其他好文 > 详细

filebeat使用multiline丢失数据问题

时间:2017-12-14 15:47:31      阅读:743      评论:0      收藏:0      [点我收藏+]

标签:lines   number   body   com   长度   filebeat   one   bash   而且   

  最近部署filebeat采集日志。

  发现配置multiline后,日志偶尔会丢失数据,而且采集到的数据长度都不相同,所以和日志长度没有关系。

  查阅filebeat官网后,找到了问题。filebeat有个配置max_lines,默认值为500。查看了我们的日志文件,发现需要合并的日志行数超过了500行。

max_lines
    The maximum number of lines that can be combined into one event. 
   If the multiline message contains more than max_lines, any additional lines are discarded. The default is 500.

  增加该配置后,解决multiline丢失数据问题。

multiline.max_lines: 10000

  

filebeat使用multiline丢失数据问题

标签:lines   number   body   com   长度   filebeat   one   bash   而且   

原文地址:http://www.cnblogs.com/micmouse521/p/8037713.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!