http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注...
分类：
Web程序 时间：
2014-11-19 10:32:28
阅读次数：
345
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
Flume的介绍就不多说了，大家可以自己搜索。但是目前网上大都是Flume 1.4版本或之前的资料，Flume 1.5感觉变化挺大的，如果你准备尝试一下，我这里给大家介绍一下最小化搭建方案，并且使用MongoSink将数据存入mongodb。完全单机运行，没有master，没有collector（说白了collector也就是一个agent，只是数据来源于多个其他agent），只有一个agent。...
分类：
数据库 时间：
2014-11-13 16:39:29
阅读次数：
464
这几天在搭建flume服务并在其框架下开发，反复调试输入命令让人不厌其烦，因此在这里记录一下自己找到的一些小技巧：
首先，把自己的应用程序做成一个service是一个很好的选择，一个service就需要支持start 和 stop，start能启动程序，stop能找到start所启动的程序的进程并且关掉它。
可以直接根据/etc/init.d/下的服务脚本来改，但我遇到了问题：因为那些系统服务...
分类：
Web程序 时间：
2014-11-05 19:49:02
阅读次数：
320
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
1. ../flume/fchannel/spool/data/ 目录下发生缓存文件积压 可能原因：同一时间同一客户端下向两个监控目录mv文件；或同一时间多个客户端向服务端上传文件2.清空../flume/fchannel/spool/data/ 目录下文件重启后，监控目录下的文件发生积压，没有上传...
分类：
Web程序 时间：
2014-11-03 22:08:46
阅读次数：
590
1. 在flume/conf下建一个example文件:将下面的配置信息写到example文件中#配置agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#配置source1agent1.source...
分类：
Web程序 时间：
2014-10-30 15:16:08
阅读次数：
239
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
大家好。 公司有个需求。要求Flumne 从MQ 取消息存储到DFS ，写了Flume自定义的source 。，由于我也是刚接触Flume 。 所以有啥不对的请谅解。 查看了Flume-ng的源码。 一般都是根据不同的场景 extends AbstractSource implements Eve....
分类：
Web程序 时间：
2014-10-21 10:06:25
阅读次数：
593
http://blog.csdn.net/hijk139/article/details/8308224业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop...
分类：
Web程序 时间：
2014-10-20 17:10:35
阅读次数：
333
