配置文件的基本格式，输入部分，过滤器部分和输出部分。#Thisisacomment.Youshouldusecommentstodescribe
#partsofyourconfiguration.
input{
...
}
filter{
...
}
output{
...
}每个部分都可以配置一个或多个插件。下面展示的是输入部分，有两个file插件。input{
file{
path=&..
分类：
其他好文 时间：
2016-07-15 17:24:57
阅读次数：
954
上次实现了flume＋kafka＋hbase＋ELK：http://www.cnblogs.com/super-d2/p/5486739.html 这次我们可以加上storm: storm-0.9.5简单配置如下： 安装依赖 安装 Python 安装 zookeeper wget http://mi ...
分类：
数据库 时间：
2016-07-12 13:38:43
阅读次数：
427
Logstash管道可以配置一个或多个输入插件、过滤器插件和输出插件。其中，输入插件和输出插件是必选的，过滤器插件是可选的。下图是Logstash常见的使用场景。上一节的例子中我们使用标准的输入和输出插件做了简单的示例。接下来我们演示一些复杂的场景。如下图所示是Logstash的..
分类：
其他好文 时间：
2016-07-07 17:35:49
阅读次数：
167
前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，..
分类：
其他好文 时间：
2016-07-06 18:47:15
阅读次数：
850
今天给大家带来的是开源实时日志分析ELK,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co其中的3个软件是：Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格..
分类：
其他好文 时间：
2016-07-03 23:38:44
阅读次数：
364
Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供Web接口用于查询和统计。Logstash配置要求Logstash支持Java1.7版本以上。启动Logstash[root@Server01bin]#./logstash-e‘input{stdin{}}output{stdout{}}‘
S..
分类：
其他好文 时间：
2016-07-01 16:35:45
阅读次数：
131
装完elk跑起来之后，我的内心几乎是崩溃的，16G内存16核cpu还经常报错。一、logstash和elasticsearch同时报错logstash出现大量报错，可能是es占用heap太多，没有优化es导致的retryingfailedactionwithresponsecode:503{:level=>:warn}toomanyattemptsatsendingevent.droppin..
分类：
其他好文 时间：
2016-06-30 14:40:01
阅读次数：
540
前段时间用ossec收集了一些系统的日志(syslog、secure、maillog等)，看了下elk这个架构，发现很适合ossec，也很好玩。介绍：elk官网https://www.elastic.co/downloadselk由elasticSearch、logstash和kiabana三个开源工具组成。ossec+redis+elk架构图：ossec：事件源、alert源re..
分类：
其他好文 时间：
2016-06-29 15:58:22
阅读次数：
516
1.查询所有的索引[root@Server01cx]#curl‘10.0.0.5:9200/_cat/indices?v‘
healthstatusindexprirepdocs.countdocs.deletedstore.sizepri.store.size
yellowopencustomer51206.6kb6.6kb
yellowopenbank5110000442.1kb442.1kb2.查询bank表中的所有数据[root@Server01cx]#curl‘10...
系统环境： VirtualBox Manager Centos6.4 nginx1.10.0 IP对应的机器名： IP 机器名 角色名 10.0.0.139 [elk] client 10.0.0.136 [lvs-master] nginx server 10.0.0.137 [kvm] web ...
分类：
其他好文 时间：
2016-06-27 10:38:21
阅读次数：
274
