本文描述了一个简单的case，讲解怎么在logstash进行配置，将多个日志数据流，通过redis缓存接收，再导出到elasticsearch多个索引，即一类日志数据对应一类索引。 假设有两组日志数据由日志端写入redis缓存，两组日...
分类：
其他好文 时间：
2015-09-05 20:54:54
阅读次数：
307
最近在项目中使用LogStash做日志的采集和过滤，感觉LogStash还是很强大的。input { file{ path => "/XXX/syslog.txt" start_position => beginning codec => mu...
分类：
其他好文 时间：
2015-08-27 10:47:03
阅读次数：
305
今天发现logstash没有任何数据写入elasticsearch，检查logs，发现报错high disk watermark [10%] exceeded on [asfasdf112xzvdx][flag=smasher] free:2.8gb[9.2%], shards will be relocated away from this nod...
分类：
其他好文 时间：
2015-08-17 17:34:36
阅读次数：
412
1、日志平台的工作流程多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。Shipper表示日志收集..
分类：
其他好文 时间：
2015-08-14 17:18:40
阅读次数：
668
logstash-forward 源码核心思想包括以下几个角色（模块）： prospector: 找到配文件中paths/globs下面文件, 并且启动harvesters，提交文件给harvesters ?harvester: 读取scan文件, 并提交相应的event给spooler s...
分类：
其他好文 时间：
2015-08-10 13:43:08
阅读次数：
902
elk分析nginx、dns日志部署环境192.168.122.187Logstash-1.5.1elasticsearch-1.6.0kibana-4.1.1Centos6.4192.168.122.1Redis-2.8Centos7.1192.168.122.2Nginxlogstash-1.5.2supervisor-2.1-9java-1.7Centos6.4192.168.122.247Bind9logstash-1.5.2supervisor-2.1-9java-1.7Cento..
分类：
其他好文 时间：
2015-08-06 18:45:01
阅读次数：
343
安装完kibana直接就可以访问，这样不利于安全，接下来我们利用apache的密码认证进行安全配置apache配置文件如下：<VirtualHost*:8080>
DocumentRoot/data/kibana
ServerNamelocalhost
ErrorLog"/data/kibana/logs/kibana-error.log"
CustomLog"/data/kibana/logs/kibana-..
分类：
Web程序 时间：
2015-08-04 23:19:33
阅读次数：
452
1. AWS EC2中安装需要的注意事项
2. grok有哪些pattern?
3. 如何丢失掉不需要的日志？
4. 为什么索引的值不能做sum/average，为什么我的字段不是Number类型而是String？
5. 怎么制作visualization?...
分类：
其他好文 时间：
2015-08-03 14:41:02
阅读次数：
326
简单的介绍了logstash，给出一些简单实用的examples...
分类：
其他好文 时间：
2015-08-02 15:14:58
阅读次数：
211
