在 Elasticsearch、Kibana、Beats 安装 中讲到推荐架构： 本文基于 Logstash + Beats 读取 Spring Boot 日志 将其改为上述架构 如果没有安装 Kafka 需要首先安装：http://kafka.apache.org/quickstart ，如果需要 ...
分类：
其他好文 时间：
2020-06-05 13:04:50
阅读次数：
48
一、Spring Boot 日志配置 采用 Spring Boot 默认的 Logback： <?xml version="1.0" encoding="UTF-8"?> <configuration scan="true" scanPeriod="10 seconds"> <contextName ...
分类：
编程语言 时间：
2020-06-04 21:47:36
阅读次数：
83
数据修改(Mutate) filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。 类型转换 类型转换是 filters/mutate 插件最初诞生时的唯一功能。其应用场景在之前 Codec/JSON 小节已经 ...
分类：
其他好文 时间：
2020-06-04 20:04:10
阅读次数：
95
问题： 今天遇到一个syslog间歇性缺失的问题，排查了一圈发现是限速导致的。 cat /var/log/message | grep rate-limit 有如下信息： Feb 9 10:22:32 localhost rsyslogd: imuxsock lost 432 messages fr ...
分类：
其他好文 时间：
2020-06-03 13:54:57
阅读次数：
134
刚开始尝试独立安装ELK的每个软件， 发现下载很慢，配置起来挺痛苦， 安装问题多多， 故采用Docker镜像安装法， 省事省心。 1. Docker安装 #添加docker镜像资源 sudo yum-config-manager --add-repo https://mirrors.aliyun.c ...
分类：
其他好文 时间：
2020-06-03 12:00:15
阅读次数：
71
Kibana介绍 kibana(名字含义: kiwifruit + Banana) 是一个 可视化分析利器,基于 Logstash 的工具, 2013年加入 Elastic 公司. Kibana是一个开源的可视化平台,可以为 ElasticSearch 集群的管理提供友好的Web界面,帮助汇总,分析 ...
分类：
其他好文 时间：
2020-06-02 23:05:08
阅读次数：
94
#Nginx 日志分析 ###说明： 日志分析是运维人员在对系统及应用程序维护时的一个必要的也是最有效的工具之一，所以学习日志分析是做为一个运维人员的必要选择，及掌握日志分析是作为一个运维人员的必要技能 在centons6以上的系统版本中，这种日志数据由系统服务rsyslog同一管理，根据其配置文件 ...
分类：
其他好文 时间：
2020-05-31 16:30:28
阅读次数：
79
ELK日志收集 Elasticsearch #数据库,存数据 JAVA Logstash #收集日志,过滤数据 JAVA Kibana #分析,过滤,展示 JAVA Filebeat #收集日志,传输到ES GO #日志收集分类 代理层：nginx,haproxy web层：nginx,tomcat ...
分类：
其他好文 时间：
2020-05-30 19:50:00
阅读次数：
64
概念 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景 ...
分类：
其他好文 时间：
2020-05-30 12:55:27
阅读次数：
65
1.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 3.查询访问最频繁的URL awk '{print $7}' access.l ...
分类：
其他好文 时间：
2020-05-28 13:09:14
阅读次数：
60
