传统ELK图示： 单纯使用ElK实现分布式日志收集缺点？ 1、logstash太多了，扩展不好。 如上图这种形式就是一个 tomcat 对应一个 logstash，新增一个节点就得同样的拥有 logstash，可以说很浪费了。 2、读取IO文件，可能会产生日志丢失。 3、不是实时性 比如logsta ...
分类：
其他好文 时间：
2019-08-16 00:56:00
阅读次数：
209
关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地 下面进一步详细说配置: 注意： ...
分类：
数据库 时间：
2019-08-15 01:05:46
阅读次数：
127
今天10点时候同事报出kibana突然不显示log了，开始紧急排查 1. 从数据源头查起,先看被filebeat监视的log文件是否在更新(一般只要log对应服务在正常运行，log文件中就会有数据持续更新) tail -f log.log 发现log中数据在持续更新，说明数据源头没有问题 2. 查看 ...
分类：
其他好文 时间：
2019-08-13 11:49:46
阅读次数：
1332
面向微服务开发时会涉及到多系统的日志跟踪，一旦出现问题过滤起来系统间切换非常麻烦，所以需要采用特定工具将日志统一归类处理，方便查询排查错误，下面将介绍一种开源的工具ELK. ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方下载地址：https://www.e ...
一、简介 Logstash 是开源的服务器端数据处理管道，支持从不同来源采集数据，装换数据，并将数据发送到不同的存储库中。 Logstash 项目诞生于 2009 年 8 月 2 日。其作者是世界著名的运维工程师乔丹西塞(JordanSissel)，乔丹西塞当时是著名虚拟主机托管商 DreamHos ...
分类：
其他好文 时间：
2019-08-10 17:03:31
阅读次数：
136
基础架构：1/Kibana---->elasticsearch---->Logstash(收集)2/Kibana---->elasticsearch---->filebeat(收集)3/Kibana---->elasticsearch---->Logstash(过滤)---->filebeat(收集)扩展架构：1/Kibana---->elastic
分类：
其他好文 时间：
2019-08-10 13:42:36
阅读次数：
281
简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2019-08-09 19:55:07
阅读次数：
201
elasticsearch +log4net.ElasticSearch+kibana（windows） 需要的东西（目前用的5.6版本） 1.先安装jdk和jre 配置java环境 2. 下载elasticsearch ，运行elasticsearch-5.6.16\bin\elasticsear ...
分类：
其他好文 时间：
2019-08-09 13:06:14
阅读次数：
86
一、Kubernetes简介 Kubernetes是Google于2014年开源的一个容器编排工具，使用Google自己的go语言编写，由Borg衍生而来。Borg是Google内部已经运行近十年的容器编排工具，由于docker的横空出世，导致Google原本准备作为秘密武器 ...
分类：
Web程序 时间：
2019-08-08 13:37:10
阅读次数：
205
Filebeat是本地文件的日志数据采集器。 作为服务器上的代理安装，Filebeat监视日志目录或特定日志文件，tail file，并将它们转发给Elasticsearch或Logstash进行索引、kafka 等。 工作原理： Filebeat由两个主要组件组成：prospector 和harv ...
分类：
其他好文 时间：
2019-08-06 20:08:29
阅读次数：
229
