1、背景 前阵子有园友留言,提到日志相关的东西,同时,最近圈子里也有提到日志这个东西。一个充分、集中的统一日志平台还是很有必要的,否则系统出问题了只能靠猜或者干瞪眼。何谓充分,日志记录满足最低要求、出问题方便定位、可追溯、可追责,最重要的,方便扯皮;何谓集中,各子系统或服务日志都怼到一个地方,想看日 ...
分类:
其他好文 时间:
2020-08-17 17:46:32
阅读次数:
70
步骤 1. 理解 ELK Stack 0 在设置您自己的 ELK 堆栈之前,了解一点关于该堆栈及其组件的知识会对您有所帮助。 ELK Stack 由三个组件组成:Logstash、Elasticsearch 和 Kibana。 Logstash 是一个用来管理日志的工具。它支持几乎任何类型的日志,包 ...
分类:
其他好文 时间:
2020-07-16 00:28:37
阅读次数:
106
第一部分 概括 ELK是集分布式数据存储、可视化查询和日志解析于一体的日志分析平台。ELK=elasticsearch+Logstash+kibana,三者各司其职,相互配合,共同完成日志的数据处理工作。ELK各组件的主要功能如下: elasticsearch,数据存储以及全文检索; logstas ...
分类:
数据库 时间:
2020-05-14 02:03:08
阅读次数:
148
工作需要,在测试环境搭建了一下日志平台,记录一下。 服务器:linux centos 工具列表:elasticsearch,kibana,filebeat 1、下载es,kibana,filebeat 。直接官网下载 https://www.elastic.co/cn/,因为我的jdk是1.8,所以 ...
分类:
其他好文 时间:
2020-05-12 14:02:56
阅读次数:
127
Tags:k8s环境下的容器日志收集K8S环境下面如何收集应用日志在本文中重点讲一下K8S容器环境中如何收集容器的日志;1.容器日志收集方案的选择:??在K8S集群中,容器的日志收集方案一般有三种;第一种方案是通过在每一个k8s节点安装日志收集客户端软件,比如fluentd。这种方案不好的一点是应用的日志必须输出到标准输出,并且是通过在每一台计算节点的/var/log/co
分类:
其他好文 时间:
2019-11-24 09:50:35
阅读次数:
77
[TOC] 0. 前言 不管是在局域网、广域网还是数据中心IDC,一个健康的网络环境,都离不开一套网管系统。 网管系统不限于如下: 监控平台:用于监控网络设备、服务器、中间件等各项指标,超过阈值触发告警通知; 日志平台:用于收集所有设备日志数据、分析、可视化,报警、追溯等功能; 自动化运维平台:用于 ...
分类:
其他好文 时间:
2019-10-19 16:25:40
阅读次数:
134
早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail。如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一个从APP或H5发起的请求除了需要登陆服务器去排查日志,往往还会经过MQ和RPC调用远程到了别的主机 ...
分类:
其他好文 时间:
2019-06-05 09:37:37
阅读次数:
74
官网介绍:Sentry是一个实时事件日志记录和汇集的日志平台,其专注于错误监控,以及提取一切事后处理所需的信息。他基于Django开发,目的在于帮助开发人员从散落在多个不同服务器上的日志文件里提取发掘异常,方便debug。Sentry由python编写,源码开放,性能卓越,易于扩展,目前著名的用户有 ...
分类:
其他好文 时间:
2019-03-03 20:53:18
阅读次数:
239
本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说,老司机们座好了,我们准备发车了~~~ 整体架构 整体架构主要分为 4 个模块,分别提供不同的功能 Filebeat: ...
分类:
其他好文 时间:
2019-02-02 14:34:07
阅读次数:
201
虽然用了ELK很久了,但一直苦于没有自己尝试搭建过,所以想抽时间尝试尝试。原本打算按照教程 "《ELK集中式日志平台之二 — 部署》" (作者:樊浩柏科学院) 进行测试的,没想到一路出了很多坑,所以又按照自己成功搭建的流程写了本文。 《ELK集中式日志平台之二 — 部署》一文参考价值非常大,图文并茂 ...
分类:
其他好文 时间:
2018-12-02 14:23:51
阅读次数:
155