今天10点时候同事报出kibana突然不显示log了，开始紧急排查 1. 从数据源头查起,先看被filebeat监视的log文件是否在更新(一般只要log对应服务在正常运行，log文件中就会有数据持续更新) tail -f log.log 发现log中数据在持续更新，说明数据源头没有问题 2. 查看 ...
分类：
其他好文 时间：
2019-08-13 11:49:46
阅读次数：
1332
基础架构：1/Kibana---->elasticsearch---->Logstash(收集)2/Kibana---->elasticsearch---->filebeat(收集)3/Kibana---->elasticsearch---->Logstash(过滤)---->filebeat(收集)扩展架构：1/Kibana---->elastic
分类：
其他好文 时间：
2019-08-10 13:42:36
阅读次数：
281
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2019-08-09 19:55:07
阅读次数：
201
Filebeat是本地文件的日志数据采集器。 作为服务器上的代理安装，Filebeat监视日志目录或特定日志文件，tail file，并将它们转发给Elasticsearch或Logstash进行索引、kafka 等。 工作原理： Filebeat由两个主要组件组成：prospector 和harv ...
分类：
其他好文 时间：
2019-08-06 20:08:29
阅读次数：
229
Filebeat服务输出形式 配置参考：https://www.elastic.co/guide/en/beats/filebeat/7.2/configuring-howto-filebeat.html 日志输出：https://www.elastic.co/guide/en/beats/file ...
分类：
其他好文 时间：
2019-08-06 18:25:57
阅读次数：
518
在搭建ELK之前，首先要安装Redis和JDK，安装Redis请参考上一篇文章。 首先安装JDK及配置环境变量 3.重启配置文件，使其立即生效 [root@VM_0_9_centos ~]# source /etc/profile ELK搭建详细过程 安装程序：filebeat，elasticsea ...
分类：
系统相关 时间：
2019-07-28 17:21:54
阅读次数：
463
logstash配置 http.host: xpack.monitoring.enabled: true xpack.monitoring.elasticsearch.username: xpack.monitoring.elasticsearch.password: xpack.monitorin ...
分类：
其他好文 时间：
2019-07-14 18:01:20
阅读次数：
106
一.ELK安装1.软件架构：filebeat----elasticsearch----kibana+sentinel---(邮件和钉钉)2.软件下载地址：https://www.elastic.co/cn/downloads/past-releases#（本教程使用的为6.2.4）3.elasticsearch安装[root@VM_0_7_centos~]#egrep-v"^$|^#&q
分类：
其他好文 时间：
2019-07-13 00:50:50
阅读次数：
418
架构图 考虑到日志系统的可扩展性以及目前的资源（部分功能复用），整个ELK架构如下： 架构解读 : （整个架构从左到右，总共分为5层） 第一层、数据采集层 最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务（2.187、2.189） 第 ...
分类：
其他好文 时间：
2019-07-04 17:38:00
阅读次数：
181
系统运维的过程中，每一个细节都值得我们关注 下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana输出到web端供相关人 ...
分类：
其他好文 时间：
2019-07-04 09:27:39
阅读次数：
137
