首先： ELK 是 Elasticsearch、Logstash、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各 ...
分类：
编程语言 时间：
2021-07-12 18:25:34
阅读次数：
0
1. 日志文件格式包含以下四列： 事件时间 | 发生事件的服务器的主机名 | 产生事件的服务名或程序名 | 事件的具体信息 2. /etc/rsyslog.conf 配置文件 # 服务名称 [连接符号] 日志等级 日志记录位置 authpriv.* /var/log/auth.log # 认证相关服 ...
分类：
系统相关 时间：
2021-07-06 16:25:48
阅读次数：
0
Rsyslog简介 Rsyslog的全称是 rocket-fast system for log，它提供了高性能，高安全功能和模块化设计。rsyslog能够接受从各种各样的来源，将其输入，输出的结果到不同的目的地。rsyslog可以提供超过每秒一百万条消息给目标文件。 日志是任何软件或操作系统的关键 ...
分类：
系统相关 时间：
2021-07-05 19:06:35
阅读次数：
0
方案说明 canal是阿里云开源的解析binlog组件，同步到ES需要deployer和adapter两部分： deployer解析MySQL binlog，adapter将数据写入到ES 优点 开源成熟稳定 简单易用 缺点 不支持全量数据初始化 部署 logstash进行全量 /etc/hosts ...
分类：
数据库 时间：
2021-06-28 17:36:08
阅读次数：
0
一、Logstash Logstash诞生于2009年8月，2013年被ElasticSearch公司收购。Logstash是一个分布式日志收集框架，开发语言是JRuby，经常与ElasticSearch，Kibana配合使用组成著名的ELK技术栈，所谓ELK就是ElasticSearch、Logs ...
分类：
其他好文 时间：
2021-06-10 17:43:01
阅读次数：
0
要谈ELK的应用，就不得不谈ELK架构。下面介绍几种工程项目中最常用的架构，并讨论四种架构所适合的场景。当然，在实际场景选择架构时，只要能满足当前需求就好，同时现有架构也要有一定的可预见性，为架构的演进预留一定的扩展性。 1. 简单模式（logstash+elasticsearch+kibana） ...
分类：
其他好文 时间：
2021-06-03 17:53:59
阅读次数：
0
超过最大分片引起的，在es机器上执行：curl -XPUT -H "Content-Type:application/json" -d '{"persistent":{"cluster":{"max_shards_per_node":10000}}}' 'http://es-host:9200/_c ...
分类：
其他好文 时间：
2021-05-25 17:41:51
阅读次数：
0
安装完haproxy后默认是没有启用日志的，如果需要日志配置，那么需要结合rsyslog 修改haproxy配置 在全局配置段中配置，定义日志记录级别。 global log 127.0.0.1 local3 info 修改rsyslog配置 #日志传输基于udp，所以需要取消这两行的注释。 [ro ...
分类：
其他好文 时间：
2021-05-24 03:50:05
阅读次数：
0
2021-04-21T12:36:52.697398000Z [2021-04-21T12:36:52,696][WARN ][logstash.licensechecker.licensereader] Attempted to resurrect connection to dead ES in ...
分类：
其他好文 时间：
2021-04-22 16:14:06
阅读次数：
0
一、简介 LogAnalyzer是一款syslog日志和其他网络事件数据的Web前端。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取，所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据，它可以处理syslog日志消 ...
分类：
数据库 时间：
2021-04-21 11:57:28
阅读次数：
0
