Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
在前面的一篇文章“Logstash：处理多个input”中，我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeli ...
分类：
其他好文 时间：
2020-07-15 22:54:27
阅读次数：
58
官网简介： https://www.elastic.co/guide/en/kibana/current/introduction.html 官网下载： https://www.elastic.co/cn/downloads/kibana logstash-6-1-4 下载解压，执行 ./bin/k ...
分类：
其他好文 时间：
2020-07-12 20:40:42
阅读次数：
286
官网下载： https://www.elastic.co/cn/downloads/past-releases/ 启动时可能遇到java mysql的时区问题 unrecognized or represents more than one time zone. You must configure ...
分类：
其他好文 时间：
2020-07-12 20:27:00
阅读次数：
75
input { syslog{ port=>514 } } filter { grok{ match=>{ "message"=>"(?<AAAAFENG>(?<=TYPE=\[Sys)(.{1}))" } } if[AAAAFENG]=="1"{ mutate { add_field => { " ...
分类：
其他好文 时间：
2020-07-11 17:32:30
阅读次数：
112
Elastic Stack 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分 ...
分类：
其他好文 时间：
2020-07-11 13:10:58
阅读次数：
60
源地址：（https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns）USERNAME [a-zA-Z0-9._-]+ USER %{USERNAME} EMAILLOCA ...
分类：
其他好文 时间：
2020-07-10 14:57:23
阅读次数：
118
1.不使用logstash 2.步骤： 2.1 先获取一个文件的日志 2.2 再获取多个文件的日志 2.3 批量回去文件日志 pod日志文件路径 [root@worker hkd-eureka]# pwd /var/log/pods/test_cloud-eureka-0_26292b87-08d2 ...
分类：
其他好文 时间：
2020-07-07 13:11:47
阅读次数：
91
ELK简介1.ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎，使用Java语言编写。2.Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析、过滤，并将数据发送给ES。3.Kibana为Elasticsearch提供了分析和
分类：
其他好文 时间：
2020-07-06 01:15:14
阅读次数：
52
