logstash解析嵌套json格式数据 1、源文件 1.原日志文件为 在这里我们需要先把json前面一段的正则写出来，由于这些数据在实际生产没什么实际意义，所以没重点分字段 DATETIME %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE} ...
分类：
Web程序 时间：
2019-10-28 10:39:41
阅读次数：
260
Linux环境下使用rsyslog管理日志 rsyslog linux运维 linux 22.7k 次阅读 · 读完需要 22 分钟 rsyslog linux运维 linux 在 Linux 系统中，日志文件记录了系统中包括内核、服务和其它应用程序等在内的运行信息。在我们解决问题的时候，日志是非常 ...
分类：
系统相关 时间：
2019-10-26 15:26:12
阅读次数：
143
Beats，Logstash负责数据收集与处理。相当于ETL（Extract Transform Load）。Elasticsearch负责数据存储、查询、分析。Kibana负责数据探索与可视化分析。 1、Elasticsearch 6.x版本的安装，我这里使用Elasticsearch 6.7.0 ...
分类：
其他好文 时间：
2019-10-26 15:11:18
阅读次数：
86
认识Beats Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。 （画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch） Beats对于收集数据非常有用。它们位于你 ...
分类：
其他好文 时间：
2019-10-26 10:31:41
阅读次数：
98
官方定义：Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 LogStash是重量级的，支持多数据获取机制，通过TCP/UDP协议、文件、syslog、windows Eventlogs及STDIN等；获取到数据后，它支持 ...
分类：
其他好文 时间：
2019-10-24 15:07:32
阅读次数：
102
[toc] 第六章 Shell数组应用 1. 数组基本概述 01. 什么是数组？ 数组其实也算是变量，传统的变量只能存储一个值，但数组可以存储多个值。 02. 数组的分类 Shell数组分为普通数组和关联数组。普通数组：只能使用整数作为数组索引。关联数组：可以使用字符串作为数组索引。 2. 数组基本 ...
分类：
编程语言 时间：
2019-10-23 21:50:43
阅读次数：
91
作者：antwang juejin.im/post/5aa09bb3f265da238f121b6c 前言 Nginx日志对于统计、系统服务排错很有用。 Nginx日志主要分为两种：access_log(访问日志)和error_log(错误日志)。通过访问日志我们可以得到用户的IP地址、浏览器的信息 ...
分类：
其他好文 时间：
2019-10-21 17:45:34
阅读次数：
110
二、准备环境 2.1 关闭防火墙： #systemctl stop firewalld2.2 将SELINUX设置为disabledsetenforce 0sed -i ‘s#SELINUX=enforcing#SELINUX=disabled#g’ /etc/selinux/config 三、配置 ...
分类：
其他好文 时间：
2019-10-19 11:32:00
阅读次数：
161
Elk通过filebeat获取nginx日志信息Kibana--基础设施--查看安装说明--所有--nginx日志下载并安装Filebeatcurl-L-Ohttps://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-darwin-x86_64.tar.gztarxzvffilebeat-7.1.1-darwin-x86_
分类：
其他好文 时间：
2019-10-17 10:32:41
阅读次数：
98
