架构图 考虑到日志系统的可扩展性以及目前的资源（部分功能复用），整个ELK架构如下： 架构解读 : （整个架构从左到右，总共分为5层） 第一层、数据采集层 最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务（2.187、2.189） 第 ...
分类：
其他好文 时间：
2019-07-04 17:38:00
阅读次数：
181
关于supervisord： supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程，当一个进程意外被杀死，super ...
分类：
其他好文 时间：
2019-07-04 17:34:25
阅读次数：
107
解压 配置 添加环境变量 创建普通用户授权并启动 kibana的解压 测试数据下载地址：https://grouplens.org/datasets/movielens/ logstash 的安装与导入数据 ...
分类：
其他好文 时间：
2019-07-04 14:11:03
阅读次数：
233
系统运维的过程中，每一个细节都值得我们关注 下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana输出到web端供相关人 ...
分类：
其他好文 时间：
2019-07-04 09:27:39
阅读次数：
137
Elasticsearch是Elastic Stack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集，聚合和丰富您的数据并将其存储在Elasticsearch中。Kibana使您能够以交互方式探索，可视化和分享数据洞察，并管理和监控堆栈。Elasticsearch是索引，搜索和分 ...
分类：
其他好文 时间：
2019-07-03 13:30:12
阅读次数：
71
0.docker中logstash的配置文件 1.首先写下最后的命令 2.里面的坑 容器里面定义配置文件的地方 3.最终起作用的配置文件的位置 4.权限问题：用户要修改成logstash 参考：https://www.jianshu.com/p/68ad2cede7c0 https://www.el ...
分类：
其他好文 时间：
2019-07-01 18:32:36
阅读次数：
122
简介 在微服务架构下存在多个服务之间的相互调用，当某个请求变慢或不可用时，我们如何快速定位服务故障点呢？链路追踪的实现就是为了解决这一问题，本文采用Sleuth+Zipkin+RabbitMQ+ES+Kibana实现。 Spring Cloud Sleuth Trace：从客户端请求到系统边界，再到 ...
分类：
编程语言 时间：
2019-06-29 12:46:47
阅读次数：
345
系统的基础优化 1. 修改yum源（CentOS6.4 Mini） 2. 关闭不需要的服务 |必须的服务|描述| |: :|: :| |crond|计划任务| |network|网络服务| |sshd|OpenSSH服务| |rsyslog|日志服务（CentOS5.8以下为syslog）| 3. ...
分类：
其他好文 时间：
2019-06-27 00:56:13
阅读次数：
119
首先先了解下nginx日志的格式（未修改conf文件的日志格式）220.248.44.xx--[11/Jun/2019:08:32:47+0000]"GET/HTTP/1.1"20053902"http://47.102.121.2xx/""Mozilla/5.0(WindowsNT10.0;WOW64;Trident/7.0;rv:11.0;SE
分类：
其他好文 时间：
2019-06-26 09:20:37
阅读次数：
114
在安装logstash时出现如下报错：“couldnotfindjava;setJAVA_HOMEorensurejavaisinPATHchmod:cannotaccess‘/etc/default/logstash’:Nosuchfileordirectorywarning:%post(logstash-1:6.6.0-1.noarch)scriptletfailed,exitstatus1”
分类：
编程语言 时间：
2019-06-25 21:00:57
阅读次数：
502
