Logstash简介 Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。 虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任 ...
分类：
其他好文 时间：
2020-06-30 00:51:56
阅读次数：
90
1.概述 logstash是一个日志转化系统，用户通过定义一个input，filter，和一个output配置来完成日志的收集和存储工作。 2.数据类型 bool debug => true bytes my_bytes => "113" # 113 bytes string host => "ho ...
分类：
其他好文 时间：
2020-06-29 00:27:33
阅读次数：
65
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步 ...
分类：
其他好文 时间：
2020-06-26 18:13:31
阅读次数：
74
安装logstash 第一步：下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz 第二步：解压即安装 tar -zxvf logstash-7.6.1.tar.gz 第三步：启动，并测试标准输入和 ...
分类：
系统相关 时间：
2020-06-25 14:11:19
阅读次数：
259
Metricbeat介绍 Metricbeat是一种轻量级的托运人，可以将其安装在服务器上，以定期从操作系统和服务器上运行的服务收集指标。Metricbeat会收集它收集的度量标准和统计信息，并将其运送到指定的输出，例如Elasticsearch或Logstash。 Metricbeat通过从服务器 ...
分类：
其他好文 时间：
2020-06-25 13:37:38
阅读次数：
138
Filebeat附带了示例Kibana仪表板，可视化文件，并提供了搜索以可视化Kibana中的Filebeat数据。 本例展示Nginx示例仪表板 步骤一、采集Nginx日志 使用Filebeat Nginx Module采集Nginx Access日志 参考：【Beats】 Filebeat收集N ...
分类：
其他好文 时间：
2020-06-25 10:04:11
阅读次数：
154
elk系统logstash日志处理端使用lvs做的负载均衡，端口监控发现logstash节点因为最大文件数到达限制挂了一台，lvs不知道后端的logstash挂了。看告警虚拟IP恢复是因为转发到正常的节点了，端口监控后续就一直告警波动恢复告警--！，因为lvs没有移除故障节点，处理不及时，丢的数据就多了。这边用利用ssh免密做的监控，后端RealServer不能禁止lvs禁止访问22端口，lvs定
分类：
其他好文 时间：
2020-06-22 19:11:06
阅读次数：
82
//查看_cat支持的信息kibana: GET /_catbash: curl -XGET -u elastic:password 'http://192.168.31.215:9201/_cat'//查看主节点信息kibana: GET /_cat/master?vbash: curl -XGE ...
分类：
其他好文 时间：
2020-06-22 14:34:46
阅读次数：
60
前置条件： （1）、安装了VMware （2）、安装了centos7，其他操作系统也可以 1、从官网jdk下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 我用的包名：j ...
分类：
系统相关 时间：
2020-06-21 20:28:49
阅读次数：
71
