前面的ELK中我们是用Filebeat收集Docker容器的日志，利用的是Docker默认的loggingdriverjson-file，本节我们将使用fluentd来收集容器的日志。Fluentd是一个开源的数据收集器，它目前有超过500种的plugin，可以连接各种数据源和数据输出组件。在接下来的实践中，Fluentd会负责收..
分类：
其他好文 时间：
2017-11-08 10:28:37
阅读次数：
109
cat filebeat.yml output.kafka: enabled: true hosts: ["192.168.111.107:9092","192.168.111.108:9092","192.168.111.109:9092"] topic: '%{[type]}' filebeat... ...
分类：
其他好文 时间：
2017-10-19 19:55:46
阅读次数：
323
Filebeat 安装参考 http://blog.csdn.net/kk185800961/article/details/54579376 elasticsearch 安装参考 http://blog.csdn.net/kk185800961/article/details/54175291 k ...
分类：
其他好文 时间：
2017-10-07 16:09:31
阅读次数：
364
参考网址：https://www.elastic.co/downloads组件：1、Filebeat客户端组件，用于收集log日志，发送至elasticsearch2、logstash：处理收集的日志3、elasticsearch：储存收集的日志4、kibana提供可视化的日志搜索平台一、概述Filebeat是一个日志文件托运工具，在你的服务器上安装..
分类：
其他好文 时间：
2017-09-29 00:37:56
阅读次数：
222
Filebeat简介 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。 这里的filebeat就是beats ...
分类：
其他好文 时间：
2017-09-16 20:47:20
阅读次数：
469
架构说明app-server(filebeat)->kafka->logstash->elasticsearch->kibana服务器用途说明系统基础环境
#cat/etc/redhat-release
CentOSrelease6.5(Final)
#uname-r
2.6.32-431.el6.x86_64
192.168.162.51logstash01
192.168.162.53logstash02
192.168.162.55logs..
分类：
其他好文 时间：
2017-09-08 22:52:58
阅读次数：
381
目前架构：n台filebeat客户端来将每台应用上的日志传到kafka，3台kafka做集群用于日志队列，四台ES做集群，前两台存放近两天热数据日志，后两台存放两天前的历史日志，数据保存一个月，目前总数据量6T。logstash与kibana与ES在一台机器上，kibana访问域名三个kibana做轮询，目..
分类：
其他好文 时间：
2017-08-28 23:49:37
阅读次数：
837
1.先到网站上下载 https://www.elastic.co/cn/downloads，需要的工具 Elasticsearch，Kibana，Logstash，Filebeat。 先把redis安装好。安装redis略过。 2.主要是每个工具的配置文件： Elasticsearch 直接解压后启 ...
分类：
其他好文 时间：
2017-08-26 16:00:13
阅读次数：
182
filebeat（5.x）默认配置中，输出客户端信息beat.name和beat.hostname值都是主机名，这样不方便运维快速定位到具体主机，如下图（ES中）：因此在filebeat配置文件中增加字段，并通过环境变量配置ip地址，在es索引中增加“host"字段，值为客户端的真实IPfilebeat.yml配置增加以..
分类：
其他好文 时间：
2017-08-23 10:28:09
阅读次数：
1588
filebeat 直接到logstash, 由于logstash的设计问题, 可能会出现阻塞问题, 因为中间使用消息队列分开 可以使用redis, 或者kafka, 这儿使用的是kafka 1, 安装 kafka的安装, 解压可用, 但需要zookeeper, 内置了一个zookeeper, 直接使 ...
分类：
其他好文 时间：
2017-08-22 16:51:03
阅读次数：
312
