Flume的介绍就不多说了，大家可以自己搜索。但是目前网上大都是Flume 1.4版本或之前的资料，Flume 1.5感觉变化挺大的，如果你准备尝试一下，我这里给大家介绍一下最小化搭建方案，并且使用MongoSink将数据存入mongodb。完全单机运行，没有master，没有collector（说白了collector也就是一个agent，只是数据来源于多个其他agent），只有一个agent。...
分类：
数据库 时间：
2014-11-13 16:39:29
阅读次数：
464
这几天在搭建flume服务并在其框架下开发，反复调试输入命令让人不厌其烦，因此在这里记录一下自己找到的一些小技巧：
首先，把自己的应用程序做成一个service是一个很好的选择，一个service就需要支持start 和 stop，start能启动程序，stop能找到start所启动的程序的进程并且关掉它。
可以直接根据/etc/init.d/下的服务脚本来改，但我遇到了问题：因为那些系统服务...
分类：
Web程序 时间：
2014-11-05 19:49:02
阅读次数：
320
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
1. ../flume/fchannel/spool/data/ 目录下发生缓存文件积压 可能原因：同一时间同一客户端下向两个监控目录mv文件；或同一时间多个客户端向服务端上传文件2.清空../flume/fchannel/spool/data/ 目录下文件重启后，监控目录下的文件发生积压，没有上传...
分类：
Web程序 时间：
2014-11-03 22:08:46
阅读次数：
590
1. 在flume/conf下建一个example文件:将下面的配置信息写到example文件中#配置agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#配置source1agent1.source...
分类：
Web程序 时间：
2014-10-30 15:16:08
阅读次数：
239
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
大家好。 公司有个需求。要求Flumne 从MQ 取消息存储到DFS ，写了Flume自定义的source 。，由于我也是刚接触Flume 。 所以有啥不对的请谅解。 查看了Flume-ng的源码。 一般都是根据不同的场景 extends AbstractSource implements Eve....
分类：
Web程序 时间：
2014-10-21 10:06:25
阅读次数：
593
http://blog.csdn.net/hijk139/article/details/8308224业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop...
分类：
Web程序 时间：
2014-10-20 17:10:35
阅读次数：
333
Hadoop日志分析系统启动脚本
#!/bin/bash
#Flume日志数据的根目录
root_path=/flume
#Mapreduce处理后的数据目录
process_path=/process
#hive分区时间
partition=`date "+%Y-%m-%d"`
#获取前一小时的时间:/YYYY-MM-DD/HH
file_path=`date -d "1 hour ...
分类：
其他好文 时间：
2014-10-16 19:41:13
阅读次数：
202
apache-flume-1.5.0.1-bin.tar.gz日志接收端1.修改配置文件cp flume-conf.properties.template flume-conf.propertiesvim flume-conf.propertiescollector1.sources = AvroI...
分类：
Web程序 时间：
2014-10-15 23:13:11
阅读次数：
271
