elk+redis 搭建日志分析平台 这个是最新的elk+redis搭建日志分析平台，今年时间是2015年9月11日。 Elk分别为 elasticsearch，logstash， kibana 官网为：https://www.elastic.co/products Elasticsearch: http...
分类：
其他好文 时间：
2015-09-11 14:33:16
阅读次数：
276
实时日志统一收集的好处： ????1、快速定位集群中问题机器 ????2、无需下载整个日志文件（往往比较大，下载耗时多） ????3、可以对日志进行统计 ? ? ? a、发现出现次数最多的异常，进行调优处理 ...
分类：
其他好文 时间：
2015-09-11 12:56:09
阅读次数：
412
本文描述了一个简单的case，讲解怎么在logstash进行配置，将多个日志数据流，通过redis缓存接收，再导出到elasticsearch多个索引，即一类日志数据对应一类索引。 假设有两组日志数据由日志端写入redis缓存，两组日...
分类：
其他好文 时间：
2015-09-05 20:54:54
阅读次数：
307
最近在项目中使用LogStash做日志的采集和过滤，感觉LogStash还是很强大的。input { file{ path => "/XXX/syslog.txt" start_position => beginning codec => mu...
分类：
其他好文 时间：
2015-08-27 10:47:03
阅读次数：
305
今天发现logstash没有任何数据写入elasticsearch，检查logs，发现报错high disk watermark [10%] exceeded on [asfasdf112xzvdx][flag=smasher] free:2.8gb[9.2%], shards will be relocated away from this nod...
分类：
其他好文 时间：
2015-08-17 17:34:36
阅读次数：
412
1、日志平台的工作流程多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。Shipper表示日志收集..
分类：
其他好文 时间：
2015-08-14 17:18:40
阅读次数：
668
logstash-forward 源码核心思想包括以下几个角色（模块）： prospector: 找到配文件中paths/globs下面文件, 并且启动harvesters，提交文件给harvesters ?harvester: 读取scan文件, 并提交相应的event给spooler s...
分类：
其他好文 时间：
2015-08-10 13:43:08
阅读次数：
902
elk分析nginx、dns日志部署环境192.168.122.187Logstash-1.5.1elasticsearch-1.6.0kibana-4.1.1Centos6.4192.168.122.1Redis-2.8Centos7.1192.168.122.2Nginxlogstash-1.5.2supervisor-2.1-9java-1.7Centos6.4192.168.122.247Bind9logstash-1.5.2supervisor-2.1-9java-1.7Cento..
分类：
其他好文 时间：
2015-08-06 18:45:01
阅读次数：
343
1. AWS EC2中安装需要的注意事项
2. grok有哪些pattern?
3. 如何丢失掉不需要的日志？
4. 为什么索引的值不能做sum/average，为什么我的字段不是Number类型而是String？
5. 怎么制作visualization?...
分类：
其他好文 时间：
2015-08-03 14:41:02
阅读次数：
326
