最近部署filebeat采集日志。 发现配置multiline后，日志偶尔会丢失数据，而且采集到的数据长度都不相同，所以和日志长度没有关系。 查阅filebeat官网后，找到了问题。filebeat有个配置max_lines,默认值为500。查看了我们的日志文件，发现需要合并的日志行数超过了500行 ...
分类：
其他好文 时间：
2017-12-14 15:47:31
阅读次数：
743
问题如下：1.FileBeat日志报 "dial tcp 127.0.0.1:5544: connectex: No connection could be made because the target machine actively refused it"解决过程：A：修改FileBeat文件 ...
分类：
Windows程序 时间：
2017-12-12 21:34:26
阅读次数：
1131
安装流程： 稍后补充 参考内容：http://udn.yyuap.com/thread-54591-1-1.html ; https://www.cnblogs.com/yanbinliu/p/6208626.html 在搭建测试过程中遇到以下问题：1.FileBeat日志报 "dial tcp 1 ...
一、概述 ELK 已经成为目前最流行的集中式日志解决方案，它主要是由Beats、Logstash、Elasticsearch、Kibana等组件组成，来共同完成实时日志的收集，存储，展示等一站式的解决方案。本文将会介绍ELK常见的架构以及相关问题解决。1. Filebeat：Filebeat是一款轻 ...
分类：
其他好文 时间：
2017-12-03 13:54:23
阅读次数：
275
前面我们学的ELK中用filebeat收集docker容器日志，利用的是dcoker默认的logging driver json-file，下面我们用fluentd来收集容器日志 Fluentd是一个开源的数据收集器，他目前又超过500种的plugin，可以连接各种数据源和数据输出组件。 实践： f ...
分类：
其他好文 时间：
2017-12-01 22:06:56
阅读次数：
545
翻译自：https://www.elastic.co/guide/en/beats/filebeat/current/index.html power by kerwin 一、概述 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件， ...
分类：
其他好文 时间：
2017-11-14 14:25:18
阅读次数：
151
logstash启动和配置 logstash linux下启动如下 （守护进程） ./bin/logstash agent -f conf/paycenter.conf & logstash配置 测试服务器的写法： 业务日志文件格式如果是按天分隔: gwp.eyimi.com_80_access_2 ...
分类：
其他好文 时间：
2017-11-10 17:01:50
阅读次数：
143
目的：通过filebeat获取nginx日志，发送给ElasticSearch，filebeat可以解析json格式日志，所以设置nginx日志为json格式。1、配置nginx配置文件log_formatjsonTest‘{"@timestamp":"$time_iso8601",‘
‘"host":"$server_addr",‘
‘"service":"nginxTest",‘
‘"trace":"$upstream_htt..
分类：
其他好文 时间：
2017-11-09 15:46:08
阅读次数：
214
前面的ELK中我们是用Filebeat收集Docker容器的日志，利用的是Docker默认的loggingdriverjson-file，本节我们将使用fluentd来收集容器的日志。Fluentd是一个开源的数据收集器，它目前有超过500种的plugin，可以连接各种数据源和数据输出组件。在接下来的实践中，Fluentd会负责收..
分类：
其他好文 时间：
2017-11-08 10:28:37
阅读次数：
109
cat filebeat.yml output.kafka: enabled: true hosts: ["192.168.111.107:9092","192.168.111.108:9092","192.168.111.109:9092"] topic: '%{[type]}' filebeat... ...
分类：
其他好文 时间：
2017-10-19 19:55:46
阅读次数：
323
