Logstash简介 Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化到选择的目标位置。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。 虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任 ...
分类：
其他好文 时间：
2020-06-30 00:51:56
阅读次数：
90
1.概述 logstash是一个日志转化系统，用户通过定义一个input，filter，和一个output配置来完成日志的收集和存储工作。 2.数据类型 bool debug => true bytes my_bytes => "113" # 113 bytes string host => "ho ...
分类：
其他好文 时间：
2020-06-29 00:27:33
阅读次数：
65
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
crontab在/var/log/目录下没有cron.log文件 修改rsyslog文件： /etc/rsyslog.d/50-default.conf 将 rsyslog 文件中的 #cron.* 前的 # 删掉； 重启rsyslog服务： service rsyslog restart 重启cr ...
分类：
系统相关 时间：
2020-06-26 20:11:56
阅读次数：
59
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步 ...
分类：
其他好文 时间：
2020-06-26 18:13:31
阅读次数：
74
安装logstash 第一步：下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz 第二步：解压即安装 tar -zxvf logstash-7.6.1.tar.gz 第三步：启动，并测试标准输入和 ...
分类：
系统相关 时间：
2020-06-25 14:11:19
阅读次数：
259
Metricbeat介绍 Metricbeat是一种轻量级的托运人，可以将其安装在服务器上，以定期从操作系统和服务器上运行的服务收集指标。Metricbeat会收集它收集的度量标准和统计信息，并将其运送到指定的输出，例如Elasticsearch或Logstash。 Metricbeat通过从服务器 ...
分类：
其他好文 时间：
2020-06-25 13:37:38
阅读次数：
138
elk系统logstash日志处理端使用lvs做的负载均衡，端口监控发现logstash节点因为最大文件数到达限制挂了一台，lvs不知道后端的logstash挂了。看告警虚拟IP恢复是因为转发到正常的节点了，端口监控后续就一直告警波动恢复告警--！，因为lvs没有移除故障节点，处理不及时，丢的数据就多了。这边用利用ssh免密做的监控，后端RealServer不能禁止lvs禁止访问22端口，lvs定
分类：
其他好文 时间：
2020-06-22 19:11:06
阅读次数：
82
Beats介绍 Beats 是轻量型数据采集器，Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。 官网：https://www.elastic.co/cn/beats/ 文档：htt ...
分类：
其他好文 时间：
2020-06-21 13:39:09
阅读次数：
71
系统日志文件 rsyslog主要是用来收集系统产生的各种日志，日志文件默认放在/var/log目录下。 常用日志 /var/log/boot.log 存储服务启动与停止信息 /var/log/dmesg 存储系统启动时显示在屏幕的内核信息，包含了系统中硬件状态的检查信息。 /var/log/mess ...
分类：
系统相关 时间：
2020-06-21 10:11:34
阅读次数：
111
