步骤 1. 理解 ELK Stack 0 在设置您自己的 ELK 堆栈之前,了解一点关于该堆栈及其组件的知识会对您有所帮助。 ELK Stack 由三个组件组成:Logstash、Elasticsearch 和 Kibana。 Logstash 是一个用来管理日志的工具。它支持几乎任何类型的日志,包 ...
分类:
其他好文 时间:
2020-07-16 00:28:37
阅读次数:
106
Logstash连接MySQL 下载MySQL驱动 打开驱动jar包下载地址:https://dev.mysql.com/downloads/connector/j/ 选择平台无关的版本 下载zip版本,在本地打开,解压出jar文件 因为logstash在ubuntu下的默认配置文件路径是 /etc ...
分类:
数据库 时间:
2020-07-15 23:45:46
阅读次数:
100
1.授权成功:corpId:wx6055e3db17b8bb4ccd /mnt/data/logs;grep -anr -C 100 "授权成功:corpId:wx6055e3db17b8bb4c" wxqyh_1808{6,7,8,9}/log4j.log > log.txt 2.cd /mnt/ ...
分类:
其他好文 时间:
2020-07-14 00:29:52
阅读次数:
61
Elastic Stack 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分 ...
分类:
其他好文 时间:
2020-07-11 13:10:58
阅读次数:
60
1 kafka介绍 Kafka是一款性能非常好的并且支持分布式的消息队列中间件由于它的高吞吐特性,Kafka通常使用在大数据领域,如日志收集平台Kafka是一个流处理平台,因为它在工作中就像是一个可以支撑高吞吐量的管道,数据像水一样流进去,然后另外一端再去读取这些数据我们就可以把Kafka看作是一种 ...
分类:
其他好文 时间:
2020-07-11 13:02:34
阅读次数:
55
1、flume日志收集架构如下 2、解压安装包,修改文件夹名称,配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz export FLUME_HOME=/soft/flume export PATH=$PATH:$FLUME_HOME/bin 修改conf下 ...
分类:
Web程序 时间:
2020-07-10 18:37:36
阅读次数:
66
1.elasticsearch、Kibana版本必须一致 刚开始我看了一篇:https://www.jianshu.com/p/a72cd58d0696 看着是很简单,就是brew一顿跑,结果开开心心跑完了,哦吼~brew下载回来的一直报如下错误: Kibana server is not read ...
分类:
其他好文 时间:
2020-07-09 16:37:12
阅读次数:
249
C:\ProgramFiles\iMC\server\conf目录下打开qvdm.conf文件,修改其中字段#settingloglevel(DEBUG,INFO,WARNING,ERROR,FATAL)LogLevel=INFO//该处将INFO修改为DEBUG,重启imcapmedm.exe进程,收集完日志,再改回INFO,并重启进程。#settinglogexpire(itsunitisda
分类:
其他好文 时间:
2020-07-06 18:13:22
阅读次数:
75
最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统,下面介绍下Loki的背景。 背景和动机 当我们的容器云运行的应用或者某个节点出现问题了,解决思路应该如下: 我们的监控使用的是 ...
分类:
其他好文 时间:
2020-07-06 16:25:42
阅读次数:
92