码迷,mamicode.com
首页 > 其他好文 > 详细

日志收集系统简介

时间:2014-11-05 10:55:34      阅读:182      评论:0      收藏:0      [点我收藏+]

标签:cloud

        基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
      1 数据采集、转换和存储。正如上面介绍的一样,使用Flume,HDFS,HBase三大
         构建实现这个功能。
      2 查询不同系统的日志信息。提供Web界面,查询对应日志信息。
      3 周期性统计错误日志信息,并使用邮件发出来。

日志收集系统简介

标签:cloud

原文地址:http://blog.csdn.net/john_f_lau/article/details/40345209

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!