Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
在前面的一篇文章“Logstash：处理多个input”中，我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeli ...
分类：
其他好文 时间：
2020-07-15 22:54:27
阅读次数：
58
官网简介： https://www.elastic.co/guide/en/kibana/current/introduction.html 官网下载： https://www.elastic.co/cn/downloads/kibana logstash-6-1-4 下载解压，执行 ./bin/k ...
分类：
其他好文 时间：
2020-07-12 20:40:42
阅读次数：
286
官网下载： https://www.elastic.co/cn/downloads/past-releases/ 启动时可能遇到java mysql的时区问题 unrecognized or represents more than one time zone. You must configure ...
分类：
其他好文 时间：
2020-07-12 20:27:00
阅读次数：
75
input { syslog{ port=>514 } } filter { grok{ match=>{ "message"=>"(?<AAAAFENG>(?<=TYPE=\[Sys)(.{1}))" } } if[AAAAFENG]=="1"{ mutate { add_field => { " ...
分类：
其他好文 时间：
2020-07-11 17:32:30
阅读次数：
112
Elastic Stack 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分 ...
分类：
其他好文 时间：
2020-07-11 13:10:58
阅读次数：
60
log.sh 文件 #!/bin/bash pid_path=/usr/local/nginx/logs/nginx.pid basePath=/ext3/www/logs/ logPathDir=${basePath}$(date +"%Y%m") mkdir -p ${logPathDir} m ...
分类：
其他好文 时间：
2020-07-10 19:35:34
阅读次数：
64
前提安装好ES和Kibana NGINX日志格式如下 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http ...
分类：
其他好文 时间：
2020-07-10 14:57:44
阅读次数：
123
源地址：（https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns）USERNAME [a-zA-Z0-9._-]+ USER %{USERNAME} EMAILLOCA ...
分类：
其他好文 时间：
2020-07-10 14:57:23
阅读次数：
118
