Your logs are your data: logstash + elasticsearch
by
Andrey Redko
on February 25th, 2013
| Filed in:
Enterprise Java
Tags: Elasticsearch,
Logging,
Logstash
Topic of today’s post stays a b...
分类：
其他好文 时间：
2014-12-03 21:38:48
阅读次数：
326
来源:解决手机客户端实时跟踪调试问题.主要说明:主要用于调试收集多终端相关日志信息作用.现在仅限局域网.使用外网青保证映射正确.如.一个APP多个终端同时使用.测试问题的体现可以使用此软件进行定位处理.软件服务端使用线程池可保证大数据量下的稳定性.理论上可接受任何给予socket的信息交互程序.下面...
分类：
移动开发 时间：
2014-12-03 18:59:23
阅读次数：
190
1.???? 传统架构 1.1. Rsync方式 说明： 在生产环境上部署rsync传输脚本并设置定时，按天或按小时将日志传输到日志收集服务器 ? 1） 优点 对生产服务器和日志收集服务器造成的压力较小 数据较精确，且可以比...
分类：
其他好文 时间：
2014-11-28 16:29:46
阅读次数：
486
2年前在蓝汛的时候管理的一个CDN节点,因某些特殊原因,没有采用蓝汛标准的系统管理方法...为了解决日志收集的问题,自己写了一个shell并发的小脚本....有时日志传输会出现一些问题,会产生一些日志堆积,有时上千个~...单进程传输效率实在太底下了..就写了这么一个脚本...主要并发..
分类：
Web程序 时间：
2014-11-26 06:50:16
阅读次数：
191
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
简介
Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？
在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道...
分类：
其他好文 时间：
2014-11-13 19:05:44
阅读次数：
321
在典型的大数据解决方案里，除了以ODPS这样的离线分布式计算引擎为核心，周边还需要日志收集、开发IDE、工作流调度、数据质量监控、BI报表等等一系列配套机制。因此ODPS用户往往还会对SLS和DPC等服务感兴趣。 先说SLS（简单日志服务），这是阿里云提供的针对日志收集、存储、查询和分析的云服务。用...
分类：
其他好文 时间：
2014-11-12 21:08:16
阅读次数：
402
rsyslog是日志收集工具，现在很多Linux都自带rsyslog，用其替换掉syslog。如何安装rsyslog就不讲了，大概讲下原理，然后讲logstash的相关配置。
rsyslog本身有一个配置文件 /etc/rsyslog.conf，里面定义了日志文件，以及相应保存的地址，以下述语句为例：
local7.*...
分类：
其他好文 时间：
2014-11-06 11:02:08
阅读次数：
207
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
这三样东西分别作用是：日志收集、索引与搜索、可视化展现l logstash 这张架构图可以看出logstash只是collect和index的地方，运行时传入一个.conf文件，配置分三部分:input ,filter,output。l redis redis在这里是作为日志收集与索引之间解耦...
分类：
其他好文 时间：
2014-10-28 17:19:54
阅读次数：
812
