1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供...
分类：
其他好文 时间：
2015-07-07 19:16:09
阅读次数：
169
logstash（1.4.2）是一个不错的日志监控与分析工具，数据通过logstash使用后端的ElasticSearch（1.1.1）集群完成数据索引，以供后续的查询、分析使用。版本必须保持兼容否则报一下错误 Upgrade?...
分类：
其他好文 时间：
2015-06-09 14:14:10
阅读次数：
400
ELK日志分析系统环境：centos6.5准备好ELK三个安装包，官网下1、安装jdk网上有的教程叫下载oracle的jdk，其实没必要，系统自带的openjdk就行了，不过需要先看下版本，1.7是不行的，要1.8以上升级到1.8先删除1.7版本#yumremove-yjava-1.7.0-openjdk然后安装1.8版本，看到下面信..
分类：
其他好文 时间：
2015-06-02 06:57:18
阅读次数：
1305
方案一：保存到日志文件中或者保存到document db(如mongodb)都是一个优秀的解决方案。保存到日志的话相对占用容量较少，不过需要自己写脚本分析日志。保存到document db的话相对占用容量较大，不过db自身提供多种查询解决方案可以很方便快速的查询自己想要的结果统计信息对于实效性要求都...
分类：
其他好文 时间：
2015-05-14 09:57:29
阅读次数：
123
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数 据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统...
分类：
其他好文 时间：
2015-05-10 20:14:37
阅读次数：
159
elk 日志分析系统Logstash+ElasticSearch+Kibana3
* logstash 管理日志和事件的工具
* ElasticSearch 搜索
* Kibana3 功能强大的数据显示客户端
* redis 缓存安装
logstash-1.4.2-1_2c0f5a1.noarch.rpm
elasticsearch-1.4.4.noarch.rpm
- logstash-...
分类：
其他好文 时间：
2015-03-20 12:59:41
阅读次数：
832
AWS提供的服务和基础设施能够在云环境中建设可靠，容错和高可用的Web应用程序。在生产环境中，这些应用产生大量的日志信息。这些数据是任何公司运营web应用程序的重要知识来源，分析日志可以揭示信息，如交通模式，用户行为，市场资料等。 然而，作为Web应用程序的增长和的访问者数量的增加，存储和分析网络日志变得越来越具有挑战性。下图展示了如何使用AWS构建一个可扩展且可靠的大规模日志分析平台。该架构的核...
分类：
Web程序 时间：
2015-02-05 20:30:15
阅读次数：
324
Linux 有一个显著的特点，在正常情况下，你可以通过日志分析系统日志来了解你的系统中发生了什么，或正在发生什么。的确，系统日志是系统管理员在解决系统和应用问题时最需要的第一手资源。我们将在这篇文章中着重讲解 Apache HTTP web server 生成的 Apache access 日志。这...
分类：
数据库 时间：
2014-12-16 16:49:26
阅读次数：
250
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
Logstash+ElasticSearch+Kibana3架构日志系统一，分析系统简介日志监控和分析在保障业务稳定运行时，起到了很重要的作用，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异..
分类：
其他好文 时间：
2014-10-20 15:21:50
阅读次数：
388
