一、logstash结合redis收集系统日志 架构图: 环境准备: A主机:elasticsearch主机 IP地址:192.168.7.100 B主机:logstash主机 IP地址:192.168.7.102 C主机:redis主机 IP地址:192.168.7.103 D主机:logstas ...
分类:
其他好文 时间:
2020-03-22 15:50:50
阅读次数:
67
实战一:通过Logstash收集tomcat服务器的日志 1、配置JDK环境 1、解压JDK包,创建软链接 [root@tomcat-web1 src]# tar xvf jdk-8u212-linux-x64.tar.gz [root@tomcat-web1 src]# ln -sv /usr/l ...
分类:
编程语言 时间:
2020-03-21 14:57:13
阅读次数:
116
[toc] 一、什么是logstash logstash是一个日志收集器,可以理解为一个管道,或者中间件。 功能是从定义的输入源inputs读取信息,经过filters过滤器处理,输入到定义好的outputs输出源。 logstash 输入源可以指定输入数据,可以是stdin、日志文件、数据库等 输 ...
分类:
其他好文 时间:
2020-03-18 23:49:40
阅读次数:
84
如果你们觉得graylog只是负责日志收集的一个管理工具,那就too young too naive 。日志收集只是graylog的最最基础的用法,graylog有很多实用的数据清洗和处理的进阶用法。 从这期开始我将陆续向大家介绍一些关于graylog的进阶用法,这次讲一下如何通过Geoip库莱获取 ...
分类:
其他好文 时间:
2020-03-17 19:10:50
阅读次数:
72
之前聊了一下graylog如何采集nginx日志,为此我介绍了两种采集方法(主动和被动),让大家对graylog日志采集有了一个大致的了解。 从日志收集这个角度,graylog提供了多样性和灵活性,大家可以根据自身场景选择适合自己的一种。 这次要跟大家聊的是如何通过graylog采集mysql慢日志 ...
分类:
数据库 时间:
2020-03-16 14:56:32
阅读次数:
110
专注Java相关技术:SSM、Spring全家桶、微服务、MySQL、集群、dubbo、分布式、中间件、Linux、网络、多线程、Jenkins、Nexus、Docker、ELK等等! ...
分类:
数据库 时间:
2020-03-13 18:20:22
阅读次数:
74
在我看来,在某些场景下,网关就像是一个公共方法,把项目中的都要用到的一些功能提出来,抽象成一个服务。比如,我们可以在业务网关上做日志收集、Token校验等等,当然这么理解很狭隘,因为网关的能力远不止如此,但是不妨碍我们更好地理解它。下面的例子演示了,如何在网关校验Token,并提取用户信息放到Hea ...
分类:
编程语言 时间:
2020-03-09 13:34:38
阅读次数:
104
1.到官网下载对应的版本注意最好使用版本相同的3个软件 elasticsearch-6.8.7.rpm kibana-6.8.7-x86_64.rpm logstash-6.8.7.rpm 我这里使用6.8.7版本的rpm包直接安装,基本注意事项:防火墙,firewall,等关闭,java环境注意修 ...
分类:
其他好文 时间:
2020-03-09 11:57:06
阅读次数:
58
es做日志存储 filebeat做日志收集 kibana做显示 步骤:1,wget filebeat,解压; 2.filebeat.yml+ fields.yml ,前者配置日志的收集配置; filebeat.yml,里面的9202是跳板机的es的开放端口 filebeat.inputs:- typ ...
分类:
其他好文 时间:
2020-03-04 09:36:36
阅读次数:
86
ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。
Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据
分类:
其他好文 时间:
2020-03-02 22:35:52
阅读次数:
414