Your logs are your data: logstash + elasticsearch
by
Andrey Redko
on February 25th, 2013
| Filed in:
Enterprise Java
Tags: Elasticsearch,
Logging,
Logstash
Topic of today’s post stays a b...
分类:
其他好文 时间:
2014-12-03 21:38:48
阅读次数:
326
今天搭建logsatsh+redis+elasticsearch时出现了问题,经过近一小时排查,终于解决。记录一下。
环境是这样,一台客户端发送数据到位于服务器的redis,服务器端的logstash读redis的数据,存储到elasticsearch中。
初步问题是这样的:在服务器端,没有收到客户端发送过来的日志。
这样就可能有两种问题:一是客户端的logstash没有成功发送数据到red...
分类:
其他好文 时间:
2014-11-27 20:31:10
阅读次数:
185
简介
Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧?
在一个典型的使用场景下(ELK):用Elasticsearch作为后台数据的存储,kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解析创建了一个功能强大的管道...
分类:
其他好文 时间:
2014-11-13 19:05:44
阅读次数:
321
rsyslog是日志收集工具,现在很多Linux都自带rsyslog,用其替换掉syslog。如何安装rsyslog就不讲了,大概讲下原理,然后讲logstash的相关配置。
rsyslog本身有一个配置文件 /etc/rsyslog.conf,里面定义了日志文件,以及相应保存的地址,以下述语句为例:
local7.*...
分类:
其他好文 时间:
2014-11-06 11:02:08
阅读次数:
207
1 nohup./redis-server 1>log.log 2>error.log &2 nohup./elasticsearch -f &3 nohup ./bin/logstash -f redis.conf &4
分类:
其他好文 时间:
2014-10-29 18:57:35
阅读次数:
963
安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台2014-01-16 19:40:57|分类:logstash|标签:logstashkinanaelasticsearchredis日志分析|举报|字号订阅本文是参考logstash官方文档实践的笔记,...
分类:
其他好文 时间:
2014-10-29 14:45:10
阅读次数:
270
这三样东西分别作用是:日志收集、索引与搜索、可视化展现l logstash 这张架构图可以看出logstash只是collect和index的地方,运行时传入一个.conf文件,配置分三部分:input ,filter,output。l redis redis在这里是作为日志收集与索引之间解耦...
分类:
其他好文 时间:
2014-10-28 17:19:54
阅读次数:
812
Logstash+ElasticSearch+Kibana3架构日志系统一,分析系统简介日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在各个生产服务器,且开发人员无法登陆生产服务器,这时候就需要一个集中式的日志收集装置,对日志中的关键字进行监控,触发异..
分类:
其他好文 时间:
2014-10-20 15:21:50
阅读次数:
388
部署ELK时候,logstash启动报错Sending logstash logs to /var/log/logstash.log.Exception in thread ">output" org.elasticsearch.discovery.MasterNotDiscoveredExcept...
分类:
其他好文 时间:
2014-10-10 11:35:24
阅读次数:
397
Flume配置
。
flume生成的数据结构
"_index" : "logstash-2013.01.07",
"_type" : "tms_jboss_syslog",
"_id" : "a_M9X_0YSpmE7A_bEzIFiw",
"_score" : 1.0, "_source" : {"@source":"file://localhost.localdomain/tmp...
分类:
其他好文 时间:
2014-10-09 17:03:48
阅读次数:
290