这里记录Logstash配置中注意的事项: 整个配置文件分为三部分:input,filter,output。参考这里的介绍 https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html 1 在Wi ...
分类:
其他好文 时间:
2017-10-13 14:02:04
阅读次数:
185
Filebeat 安装参考 http://blog.csdn.net/kk185800961/article/details/54579376 elasticsearch 安装参考 http://blog.csdn.net/kk185800961/article/details/54175291 k ...
分类:
其他好文 时间:
2017-10-07 16:09:31
阅读次数:
364
参考网址:https://www.elastic.co/downloads组件:1、Filebeat客户端组件,用于收集log日志,发送至elasticsearch2、logstash:处理收集的日志3、elasticsearch:储存收集的日志4、kibana提供可视化的日志搜索平台一、概述Filebeat是一个日志文件托运工具,在你的服务器上安装..
分类:
其他好文 时间:
2017-09-29 00:37:56
阅读次数:
222
Filebeat简介 Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。 这里的filebeat就是beats ...
分类:
其他好文 时间:
2017-09-16 20:47:20
阅读次数:
469
架构说明app-server(filebeat)->kafka->logstash->elasticsearch->kibana服务器用途说明系统基础环境
#cat/etc/redhat-release
CentOSrelease6.5(Final)
#uname-r
2.6.32-431.el6.x86_64
192.168.162.51logstash01
192.168.162.53logstash02
192.168.162.55logs..
分类:
其他好文 时间:
2017-09-08 22:52:58
阅读次数:
381
目前架构:n台filebeat客户端来将每台应用上的日志传到kafka,3台kafka做集群用于日志队列,四台ES做集群,前两台存放近两天热数据日志,后两台存放两天前的历史日志,数据保存一个月,目前总数据量6T。logstash与kibana与ES在一台机器上,kibana访问域名三个kibana做轮询,目..
分类:
其他好文 时间:
2017-08-28 23:49:37
阅读次数:
837
1.先到网站上下载 https://www.elastic.co/cn/downloads,需要的工具 Elasticsearch,Kibana,Logstash,Filebeat。 先把redis安装好。安装redis略过。 2.主要是每个工具的配置文件: Elasticsearch 直接解压后启 ...
分类:
其他好文 时间:
2017-08-26 16:00:13
阅读次数:
182
filebeat(5.x)默认配置中,输出客户端信息beat.name和beat.hostname值都是主机名,这样不方便运维快速定位到具体主机,如下图(ES中):因此在filebeat配置文件中增加字段,并通过环境变量配置ip地址,在es索引中增加“host"字段,值为客户端的真实IPfilebeat.yml配置增加以..
分类:
其他好文 时间:
2017-08-23 10:28:09
阅读次数:
1588
filebeat 直接到logstash, 由于logstash的设计问题, 可能会出现阻塞问题, 因为中间使用消息队列分开 可以使用redis, 或者kafka, 这儿使用的是kafka 1, 安装 kafka的安装, 解压可用, 但需要zookeeper, 内置了一个zookeeper, 直接使 ...
分类:
其他好文 时间:
2017-08-22 16:51:03
阅读次数:
312
Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。 当你开启filebeat程序的时候,它会启动一个或多个探测器 ...
分类:
移动开发 时间:
2017-08-22 13:15:43
阅读次数:
321