今天给大家带来的是开源实时日志分析ELK,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co其中的3个软件是：Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格..
分类：
其他好文 时间：
2016-07-03 23:38:44
阅读次数：
364
1. rsyslog rsyslog可记录的日志有 rsyslog可记录的日志有 auth ：(authpriv) 主要与认证有关的机制，例如 login, ssh, su 等需要帐号/密码的咚咚； cron： 就是例行性工作排程 cron/at 等产生讯息记录的地方； daemon： 与各个 da ...
分类：
其他好文 时间：
2016-07-01 18:26:59
阅读次数：
161
Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供Web接口用于查询和统计。Logstash配置要求Logstash支持Java1.7版本以上。启动Logstash[root@Server01bin]#./logstash-e‘input{stdin{}}output{stdout{}}‘
S..
分类：
其他好文 时间：
2016-07-01 16:35:45
阅读次数：
131
记录这个就是方便自己以后查看！！！nginx按天切割日志脚本示例如下#!/bin/bash
logs_path="/usr/local/openresty/nginx/logs/"
pid_path="/usr/local/openresty/nginx/logs/nginx.pid"
mv${logs_path}access.log${logs_path}access_$(date-d"yesterday"+"%Y%m%d").log
gzip${l..
分类：
其他好文 时间：
2016-06-30 23:35:45
阅读次数：
288
#!/bin/bash # Author: Wang Xiaoqiang # ReadMe: Nginx access log split script # crontab -e # 59 23 * * * sh /script/nginx_split.sh LOG_PATH='/usr/local ...
分类：
其他好文 时间：
2016-06-30 18:04:07
阅读次数：
105
装完elk跑起来之后，我的内心几乎是崩溃的，16G内存16核cpu还经常报错。一、logstash和elasticsearch同时报错logstash出现大量报错，可能是es占用heap太多，没有优化es导致的retryingfailedactionwithresponsecode:503{:level=>:warn}toomanyattemptsatsendingevent.droppin..
分类：
其他好文 时间：
2016-06-30 14:40:01
阅读次数：
540
Linux日志文件如果不定期清理，会填满整个磁盘。这样会很危险，因此日志管理是系统管理员日常工作之一。我们可以使用”logrotate”来管理linux日志文件，它可以实现日志的自动滚动，日志归档等功能。下面以nginx日志文件来讲解下logrotate的用法。在/etc/logrotate.d/目录下创..
分类：
其他好文 时间：
2016-06-29 15:59:52
阅读次数：
240
前段时间用ossec收集了一些系统的日志(syslog、secure、maillog等)，看了下elk这个架构，发现很适合ossec，也很好玩。介绍：elk官网https://www.elastic.co/downloadselk由elasticSearch、logstash和kiabana三个开源工具组成。ossec+redis+elk架构图：ossec：事件源、alert源re..
分类：
其他好文 时间：
2016-06-29 15:58:22
阅读次数：
516
ELKstack简介：ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合而成，形成一款强大的实时日志收集展示系统。各组件作用如下：Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析..
分类：
其他好文 时间：
2016-06-28 18:49:57
阅读次数：
457
一应用场景描述现在我需要向50+数量的服务器分发Logstash新版本的rpm包，大概220MB左右，直接使用Ansible的copy命令进行传输，命令如下：ansibleall-mcopy-a"src=/opt/software/logstash/logstash-agent-2.3.3-fb.centos6.x86_64.rpmdest=/opt/software/logstash"在执行的过程..
分类：
其他好文 时间：
2016-06-27 00:08:28
阅读次数：
358
