翻译自：https://www.elastic.co/guide/en/beats/filebeat/current/index.html power by kerwin 一、概述 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件， ...
分类：
其他好文 时间：
2017-11-14 14:25:18
阅读次数：
151
目的：通过filebeat获取nginx日志，发送给ElasticSearch，filebeat可以解析json格式日志，所以设置nginx日志为json格式。1、配置nginx配置文件log_formatjsonTest‘{"@timestamp":"$time_iso8601",‘
‘"host":"$server_addr",‘
‘"service":"nginxTest",‘
‘"trace":"$upstream_htt..
分类：
其他好文 时间：
2017-11-09 15:46:08
阅读次数：
214
前面的ELK中我们是用Filebeat收集Docker容器的日志，利用的是Docker默认的loggingdriverjson-file，本节我们将使用fluentd来收集容器的日志。Fluentd是一个开源的数据收集器，它目前有超过500种的plugin，可以连接各种数据源和数据输出组件。在接下来的实践中，Fluentd会负责收..
分类：
其他好文 时间：
2017-11-08 10:28:37
阅读次数：
109
1.获取nginx日志访问状态码；grep-ioE"HTTP\/1\.[1|0]\"[[:blank:]][0-9]{3}"nginx_app.api.zhaoyifen.ssl.loggrep-ioE"HTTP\/1\.[1|0]\"[[:blank:]][0-9]{3}"nginx_app.api.zhaoyifen.ssl.log|awk-F"[]+"‘{if($2>=100&&$2<200){i++}elseif($2>=200&&..
分类：
系统相关 时间：
2017-10-26 00:05:16
阅读次数：
342
cat filebeat.yml output.kafka: enabled: true hosts: ["192.168.111.107:9092","192.168.111.108:9092","192.168.111.109:9092"] topic: '%{[type]}' filebeat... ...
分类：
其他好文 时间：
2017-10-19 19:55:46
阅读次数：
323
Filebeat 安装参考 http://blog.csdn.net/kk185800961/article/details/54579376 elasticsearch 安装参考 http://blog.csdn.net/kk185800961/article/details/54175291 k ...
分类：
其他好文 时间：
2017-10-07 16:09:31
阅读次数：
364
参考网址：https://www.elastic.co/downloads组件：1、Filebeat客户端组件，用于收集log日志，发送至elasticsearch2、logstash：处理收集的日志3、elasticsearch：储存收集的日志4、kibana提供可视化的日志搜索平台一、概述Filebeat是一个日志文件托运工具，在你的服务器上安装..
分类：
其他好文 时间：
2017-09-29 00:37:56
阅读次数：
222
Filebeat简介 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。 这里的filebeat就是beats ...
分类：
其他好文 时间：
2017-09-16 20:47:20
阅读次数：
469
架构说明app-server(filebeat)->kafka->logstash->elasticsearch->kibana服务器用途说明系统基础环境
#cat/etc/redhat-release
CentOSrelease6.5(Final)
#uname-r
2.6.32-431.el6.x86_64
192.168.162.51logstash01
192.168.162.53logstash02
192.168.162.55logs..
分类：
其他好文 时间：
2017-09-08 22:52:58
阅读次数：
381
目前架构：n台filebeat客户端来将每台应用上的日志传到kafka，3台kafka做集群用于日志队列，四台ES做集群，前两台存放近两天热数据日志，后两台存放两天前的历史日志，数据保存一个月，目前总数据量6T。logstash与kibana与ES在一台机器上，kibana访问域名三个kibana做轮询，目..
分类：
其他好文 时间：
2017-08-28 23:49:37
阅读次数：
837
