Your logs are your data: logstash + elasticsearch
by
Andrey Redko
on February 25th, 2013
| Filed in:
Enterprise Java
Tags: Elasticsearch,
Logging,
Logstash
Topic of today’s post stays a b...
分类：
其他好文 时间：
2014-12-03 21:38:48
阅读次数：
326
今天搭建logsatsh+redis+elasticsearch时出现了问题，经过近一小时排查，终于解决。记录一下。
环境是这样，一台客户端发送数据到位于服务器的redis，服务器端的logstash读redis的数据，存储到elasticsearch中。
初步问题是这样的：在服务器端，没有收到客户端发送过来的日志。
这样就可能有两种问题：一是客户端的logstash没有成功发送数据到red...
分类：
其他好文 时间：
2014-11-27 20:31:10
阅读次数：
185
简介
Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？
在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道...
分类：
其他好文 时间：
2014-11-13 19:05:44
阅读次数：
321
rsyslog是日志收集工具，现在很多Linux都自带rsyslog，用其替换掉syslog。如何安装rsyslog就不讲了，大概讲下原理，然后讲logstash的相关配置。
rsyslog本身有一个配置文件 /etc/rsyslog.conf，里面定义了日志文件，以及相应保存的地址，以下述语句为例：
local7.*...
分类：
其他好文 时间：
2014-11-06 11:02:08
阅读次数：
207
1 nohup./redis-server 1>log.log 2>error.log &2 nohup./elasticsearch -f &3 nohup ./bin/logstash -f redis.conf &4
分类：
其他好文 时间：
2014-10-29 18:57:35
阅读次数：
963
安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台2014-01-16 19:40:57|分类：logstash|标签：logstashkinanaelasticsearchredis日志分析|举报|字号订阅本文是参考logstash官方文档实践的笔记，...
分类：
其他好文 时间：
2014-10-29 14:45:10
阅读次数：
270
这三样东西分别作用是：日志收集、索引与搜索、可视化展现l logstash 这张架构图可以看出logstash只是collect和index的地方，运行时传入一个.conf文件，配置分三部分:input ,filter,output。l redis redis在这里是作为日志收集与索引之间解耦...
分类：
其他好文 时间：
2014-10-28 17:19:54
阅读次数：
812
Logstash+ElasticSearch+Kibana3架构日志系统一，分析系统简介日志监控和分析在保障业务稳定运行时，起到了很重要的作用，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异..
分类：
其他好文 时间：
2014-10-20 15:21:50
阅读次数：
388
部署ELK时候，logstash启动报错Sending logstash logs to /var/log/logstash.log.Exception in thread ">output" org.elasticsearch.discovery.MasterNotDiscoveredExcept...
分类：
其他好文 时间：
2014-10-10 11:35:24
阅读次数：
397
Flume配置
。
flume生成的数据结构
"_index" : "logstash-2013.01.07",
"_type" : "tms_jboss_syslog",
"_id" : "a_M9X_0YSpmE7A_bEzIFiw",
"_score" : 1.0, "_source" : {"@source":"file://localhost.localdomain/tmp...
分类：
其他好文 时间：
2014-10-09 17:03:48
阅读次数：
290
