首先： ELK 是 Elasticsearch、Logstash、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各 ...
分类：
编程语言 时间：
2021-07-12 18:25:34
阅读次数：
0
分析nginx日志 GoAccess的多种展示方式 goaccess有多种数据可视化的方式,分别为: 命令行输出格式化数据 利用access.log生成静态的可视化数据 生成实时可视化数据 注意，如果是编译安装且选择了 –enable-geoip=mmdb的话需要编辑配置文件，并在使用命令的时候带上 ...
分类：
数据库 时间：
2021-07-09 17:55:46
阅读次数：
0
1. 日志文件格式包含以下四列： 事件时间 | 发生事件的服务器的主机名 | 产生事件的服务名或程序名 | 事件的具体信息 2. /etc/rsyslog.conf 配置文件 # 服务名称 [连接符号] 日志等级 日志记录位置 authpriv.* /var/log/auth.log # 认证相关服 ...
分类：
系统相关 时间：
2021-07-06 16:25:48
阅读次数：
0
Rsyslog简介 Rsyslog的全称是 rocket-fast system for log，它提供了高性能，高安全功能和模块化设计。rsyslog能够接受从各种各样的来源，将其输入，输出的结果到不同的目的地。rsyslog可以提供超过每秒一百万条消息给目标文件。 日志是任何软件或操作系统的关键 ...
分类：
系统相关 时间：
2021-07-05 19:06:35
阅读次数：
0
方案说明 canal是阿里云开源的解析binlog组件，同步到ES需要deployer和adapter两部分： deployer解析MySQL binlog，adapter将数据写入到ES 优点 开源成熟稳定 简单易用 缺点 不支持全量数据初始化 部署 logstash进行全量 /etc/hosts ...
分类：
数据库 时间：
2021-06-28 17:36:08
阅读次数：
0
Linux Nginx日志切割脚本 版本 操作系统版本IP版本 Centos 172.21.3.220内网 7.x Nginx日志切割脚本 #!/bin/bash #设置日志文件存放目录 logs_dir="/usr/local/nginx/logs" store_dir="/data/backup ...
分类：
系统相关 时间：
2021-06-23 17:02:55
阅读次数：
0
一、Logstash Logstash诞生于2009年8月，2013年被ElasticSearch公司收购。Logstash是一个分布式日志收集框架，开发语言是JRuby，经常与ElasticSearch，Kibana配合使用组成著名的ELK技术栈，所谓ELK就是ElasticSearch、Logs ...
分类：
其他好文 时间：
2021-06-10 17:43:01
阅读次数：
0
一、nginx日志结构 nginx中access.log 的日志结构： $remote_addr 客户端地址 211.28.65.253 $remote_user 客户端用户名称 -- $time_local 访问时间和时区 18/Jul/2012:17:00:01 +0800 $request 请 ...
分类：
其他好文 时间：
2021-06-08 22:56:51
阅读次数：
0
要谈ELK的应用，就不得不谈ELK架构。下面介绍几种工程项目中最常用的架构，并讨论四种架构所适合的场景。当然，在实际场景选择架构时，只要能满足当前需求就好，同时现有架构也要有一定的可预见性，为架构的演进预留一定的扩展性。 1. 简单模式（logstash+elasticsearch+kibana） ...
分类：
其他好文 时间：
2021-06-03 17:53:59
阅读次数：
0
1、nginx日志字段解析 包含的变量注释如下： $remote_addr, $http_x_forwarded_for 记录客户端IP地址 $remote_user 记录客户端用户名称 $request 记录请求的URL和HTTP协议 $status 记录请求状态 $body_bytes_sent ...
分类：
其他好文 时间：
2021-06-02 18:47:12
阅读次数：
0
