大家在启动flume的时候，输入的命令就可以看出flume的启动入口了
[root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1
Info: Sourcing environment configuration script /home/flume/apache-flu...
分类：
移动开发 时间：
2015-01-21 18:22:15
阅读次数：
330
首先从flume官网去下载源码
http://flume.apache.org/download.html
下载完之后，解压，首先去除源码中hdfs和hadoop的test依赖
apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml
org.apache.hbase...
分类：
Web程序 时间：
2015-01-20 18:05:28
阅读次数：
210
class IDownloadSink{public: virtual void OnDownloadFinished(const char* pURL, bool bOK) = 0;};class CMyDownloader{public: CMyDownloader(IDownloa...
分类：
编程语言 时间：
2015-01-14 21:12:34
阅读次数：
759
Channels are the repositories where the events are staged on a agent. Source adds the events and Sink removes it.
通道就是事件暂存的地方，source负责往通道中添加event，sink负责从通道中移出event
flume1.5.2内置的通道有：内存，文件，jdbc
1、内...
分类：
Web程序 时间：
2015-01-13 16:02:38
阅读次数：
734
多路复用技术意在可以将一个event根据配置信息发送特定的channel上。
A source instance can specify multiple channels, but a sink instance can only specify one channel.
Flume supports fanning out the flow from one source
to m...
分类：
Web程序 时间：
2015-01-13 10:29:07
阅读次数：
1361
FailoverSinkProcessor顾名思义是flume中sink输出容错的处理器
继承自AbstractSinkProcessor
先看下整体源码
/**
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the N...
分类：
Web程序 时间：
2015-01-08 11:24:31
阅读次数：
234
flume的负载均衡即每次按照一定的算法选择sink输出到指定地方，如果在文件输出量很大的情况下，负载均衡还是很有必要的，通过多个通道输出缓解输出压力
flume内置的负载均衡的算法默认是round robin，轮询算法，按序选择
下面看一下具体实例：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2...
分类：
Web程序 时间：
2015-01-07 18:57:13
阅读次数：
236
关于failover网上也有很多例子，但是看到的有多重做法，个人觉得，本着职责单一的原则
1、一台机子运行一个flume agent
2、一个agent 的下游sink指向一个flume agent，不要一个flume agent配置多个端口【影响性能】
下面看具体实例：
首先是flumet agent client的配置
priority越高，优先级越高，会优先使用该sink...
分类：
Web程序 时间：
2015-01-07 16:53:24
阅读次数：
220
使用boost里面的mapped_file_sink，mapped_file_source和mapped_file_parameters来copy大文件的例子。...
分类：
移动开发 时间：
2015-01-07 16:48:59
阅读次数：
549
如图所示，新建一个JAVA工程，编辑pom文件，pom文件内容如下【这里取出了parent】：
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http:/...
分类：
移动开发 时间：
2015-01-07 13:13:02
阅读次数：
759
