在日常的运维工作中，日志是我们分析系统运行情况、问题定位、系统优化分析等操作的主要数据源头。同时在很多客户的实际场景中，为了满足公司的审计等要求，也会需要对某种特定类型的日志数据进行持久的存储，如SecurityEvent等，从而满足公司的合规性。对于此类的需求，其实我们有多种方式可以满足，比如使用某些企业级的日志收集系统等。那么在Azure中，我们如何来持久的保存某些类型的日志记录呢？
分类：
其他好文 时间：
2020-03-27 23:25:50
阅读次数：
108
原理 使用filebeat来上传日志数据，logstash进行日志收集与处理，elasticsearch作为日志存储与搜索引擎，最后使用kibana展现日志的可视化输出。所以不难发现，日志解析主要还是logstash做的事情。 从上图中可以看到，logstash主要包含三大模块： INPUTS: 收 ...
分类：
其他好文 时间：
2020-03-27 11:07:58
阅读次数：
212
某天发现项目的kibana网页莫名其妙访问不了了 进入linux系统发现kibana进程没了，于是开始重启，发现重启的极其慢 进入控制台，发现索引报了一个错 Index lifecycle error cluster_block_exception: index [java-error-log-pe ...
分类：
其他好文 时间：
2020-03-23 18:33:57
阅读次数：
151
实战一：通过Logstash收集tomcat服务器的日志 1、配置JDK环境 1、解压JDK包，创建软链接 [root@tomcat-web1 src]# tar xvf jdk-8u212-linux-x64.tar.gz [root@tomcat-web1 src]# ln -sv /usr/l ...
分类：
编程语言 时间：
2020-03-21 14:57:13
阅读次数：
116
[toc] 一、什么是logstash logstash是一个日志收集器，可以理解为一个管道，或者中间件。 功能是从定义的输入源inputs读取信息，经过filters过滤器处理，输入到定义好的outputs输出源。 logstash 输入源可以指定输入数据，可以是stdin、日志文件、数据库等 输 ...
分类：
其他好文 时间：
2020-03-18 23:49:40
阅读次数：
84
如果你们觉得graylog只是负责日志收集的一个管理工具，那就too young too naive 。日志收集只是graylog的最最基础的用法，graylog有很多实用的数据清洗和处理的进阶用法。 从这期开始我将陆续向大家介绍一些关于graylog的进阶用法，这次讲一下如何通过Geoip库莱获取 ...
分类：
其他好文 时间：
2020-03-17 19:10:50
阅读次数：
72
之前聊了一下graylog如何采集nginx日志，为此我介绍了两种采集方法（主动和被动），让大家对graylog日志采集有了一个大致的了解。 从日志收集这个角度，graylog提供了多样性和灵活性，大家可以根据自身场景选择适合自己的一种。 这次要跟大家聊的是如何通过graylog采集mysql慢日志 ...
分类：
数据库 时间：
2020-03-16 14:56:32
阅读次数：
110
在我看来，在某些场景下，网关就像是一个公共方法，把项目中的都要用到的一些功能提出来，抽象成一个服务。比如，我们可以在业务网关上做日志收集、Token校验等等，当然这么理解很狭隘，因为网关的能力远不止如此，但是不妨碍我们更好地理解它。下面的例子演示了，如何在网关校验Token，并提取用户信息放到Hea ...
分类：
编程语言 时间：
2020-03-09 13:34:38
阅读次数：
104
es做日志存储 filebeat做日志收集 kibana做显示 步骤：1，wget filebeat，解压； 2.filebeat.yml+ fields.yml ，前者配置日志的收集配置; filebeat.yml，里面的9202是跳板机的es的开放端口 filebeat.inputs:- typ ...
分类：
其他好文 时间：
2020-03-04 09:36:36
阅读次数：
86
