ELK对nginx日志进行流量监控 一、前言 线上有一套ELK单机版，版本为5.2.1。现在想把nginx访问日志接入到elk里，进行各个域名使用流量带宽的统计分析。要把nginx日志传输到elk上，可以在存有nginx日志的服务器上使用logstash或者filebeat。但是因为logstash ...
分类：
其他好文 时间：
2019-11-12 09:24:53
阅读次数：
137
【这个在去年8月就起稿了，一直没有发布....】 一、前言 说到前端监控大家应该都不会陌生，这是现代前端工程的标配之一。引入前端监控系统，可以使用例如fundebug，Sentry等第三方监控神器，当然你完全可以自己定制一套符合实际情况的监控模型。一个监控系统大致可以分为四个阶段：日志采集、日志存储 ...
分类：
其他好文 时间：
2019-10-15 14:57:12
阅读次数：
132
第1章 概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 下面我们来详细介绍一下Flume架构中的组件。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送 ...
分类：
Web程序 时间：
2019-10-13 21:05:20
阅读次数：
155
Photo by Janke Laskowski on Unsplash 参考书籍：《Flume构建高可用、可扩展的海量日志采集系统》 ——Hari Shreedharan 著 以下简称“参考书籍”，文中部分资料和图片会标注引用自书中。官方文档简称“官文”。 文章为个人从零开始学习记录，如有错误，还 ...
分类：
Web程序 时间：
2019-10-03 22:02:35
阅读次数：
136
1.从官网下载安装包，并通过Xftp5上传到机器集群上 下载logstash-6.2.3.tar.gz版本，并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录： 2、解压logstash-6.2.3.tar.gz，并把解压的安装包移动到/opt/app ...
分类：
其他好文 时间：
2019-10-02 01:07:41
阅读次数：
130
helm部署Filebeat + ELK 系统架构图： 1) 多个Filebeat在各个Node进行日志采集，然后上传至Logstash 2) 多个Logstash节点并行（负载均衡，不作为集群），对日志记录进行过滤处理，然后上传至Elasticsearch集群 3) 多个Elasticsearch ...
分类：
其他好文 时间：
2019-09-30 23:52:57
阅读次数：
331
阅读目录： 1. ELK Stack 简介 2. 环境准备 3. 安装 Elasticsearch 4. 安装 Kibana 5. Kibana 使用 6. Elasticsearch 命令 最近在开发分布式服务追踪，使用 Spring Cloud Sleuth Zipkin + Stream + ...
分类：
其他好文 时间：
2019-09-28 18:30:07
阅读次数：
132
Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。Java实现，插件丰富，模块分明。 数据流模型：Source-Channel-Sink 事务机制保证了消息传递的可靠性 一、基本组件 Event：消息的基本单位，有header和body组成。header是键值对的形式，bod ...
分类：
Web程序 时间：
2019-09-21 21:36:06
阅读次数：
148
第二期日志易使用系列中《日志易产品使用系列二：使用日志易SaaS版本完成一次JSON日志分析》，通过“本地上传”的方式，我们已经能够基于日志易自动解析的JSON日志创建分析图表。第三期日志易使用系列中《日志易使用系列三：仪表盘的创建与使用》，通过仪表盘，我们可以将这些图形保存下来，并用于分析展示。然而，实时数据的分析、展示依赖于实时的日志采集，日志易可通过Agent、Syslog等方式实现日志的实
分类：
其他好文 时间：
2019-09-16 14:06:04
阅读次数：
112
上一期《日志易产品使用系列二：使用日志易SaaS版本完成一次JSON日志分析》我们通过“本地上传”的方式，已经能够基于日志易自动解析的JSON日志创建分析图表。而如何将这些图形保存下来，并用于实时展示呢？当然，实时展示要用到部署版的Agent日志采集功能，确保日志是实时更新的才可以（Agent采集功能会在“日志易使用系列四”介绍）。由于搜索页面的图形分析一般用于短期展示，需要长时间定时刷新时，则需
分类：
其他好文 时间：
2019-09-09 11:46:04
阅读次数：
139
