前言 Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源、任何格式的数据。其实Beats 和 Logstash的功能差不多，都能够与 Elasticsearch 产生协同作用，而且 logstash比filebeat功能更强大一点，2个都使用是因为：Beats 是 ...
分类：
其他好文 时间：
2019-01-28 13:55:25
阅读次数：
528
ELK提供了一系列采集方案。但对于从app端过来的日志，没有接收模块。一种方案可以用logstash打开socket端口接收，需要客户端配合。这里提供通过http的方案。接收服务器采用springboot实现收集，发送日志到kafka。也可以直接写文件，用fileBeat读取发送到kafka。从ka ...
分类：
其他好文 时间：
2019-01-24 17:56:53
阅读次数：
128
开发者在面对 kubernetes 分布式集群下的日志需求时，常常会感到头疼，既有容器自身特性的原因，也有现有日志采集工具的桎梏，主要包括： 容器本身特性： 采集目标多：容器本身的特性导致采集目标多，需要采集容器内日志、容器 stdout。对于容器内部的文件日志采集，现在并没有一个很好的工具能够去动 ...
分类：
Web程序 时间：
2019-01-15 20:33:30
阅读次数：
376
flume flume 简介及核心概念 什么是flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，目前是Apache的顶级项目。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据 ...
分类：
其他好文 时间：
2019-01-02 19:08:54
阅读次数：
262
2018-12-31 15:29:44 Flume 百度百科： flume（日志收集系统） Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种 ...
分类：
Web程序 时间：
2018-12-31 19:17:11
阅读次数：
187
一：介绍 （1）日志采集系统 （2）是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 （3）具有基于流数据流的简单灵活的架构。 （4）具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。 二：flume的三个组件：【Source，Channel，Sink】构成A ...
分类：
Web程序 时间：
2018-12-31 13:51:24
阅读次数：
211
一、Flume是什么 Flume是一个数据，日志收集的一个组件，可以用于对程序，nginx等日志的收集，而且非常简单，省时的做完收集的工作。Flume是一个分布式、可靠、和高可用的海量日志采集聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集日志，同时Flume对日志做简单的处理。 Fl ...
分类：
Web程序 时间：
2018-12-30 13:59:48
阅读次数：
189
大家都知道istio可以帮助我们实现灰度发布、流量监控、流量治理等一些功能。每一个功能都帮助我们在不同场景中实现不同的业务。那我们Istio是如何帮助我们实现监控和日志采集的呢？这里我们依然以Bookinfo应用程序作为贯穿此任务的示例程序。首先在集群中安装并部署Istio。收集遥测数据创建一个新的YAML文件，用来保存Istio将自动生成和收集的新度量标准和日志流的配置。如下图所示通过命令$ku
分类：
其他好文 时间：
2018-12-29 15:58:47
阅读次数：
555
大家都知道istio可以帮助我们实现灰度发布、流量监控、流量治理等功能。每一个功能都帮助我们在不同场景中实现不同的业务。那Istio是如何帮助我们实现监控和日志采集的呢？ 这里我们依然以Bookinfo应用程序作为贯穿此任务的示例程序。首先在集群中安装并部署Istio。 1 收集遥测数据 创建一个新 ...
分类：
其他好文 时间：
2018-12-17 14:29:55
阅读次数：
221
一、Filebeat介绍 Filebeat是一种轻量型，开源的日志采集工具，安装于客户端中来收集指定的日志目录，将收集的日志发送到logstash、es、redis、kafka中，来代替logstash的数据采集方案，logstash在运行过程中相当耗费服务器资源，就算没有在收集日志一样会对CPU， ...
分类：
其他好文 时间：
2018-11-21 16:01:10
阅读次数：
147
