一、FlumeNG核心概念二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Eve..
分类：
Web程序 时间：
2015-02-26 00:09:32
阅读次数：
1266
Flume架构主要由3个组件，分别是Source，Channel和Sink，3个组件组成Event在Flume中得数据流向或者说流水线，功能可以由Flume的介绍看出：When a Flume source receives an event, it stores it into one or mo...
分类：
Web程序 时间：
2015-02-15 19:21:33
阅读次数：
320
这里就简单贴个配置吧，有问题欢迎留言探讨
sink的配置
##############################define [sink] begin##############################
#define the sink k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLoca...
分类：
Web程序 时间：
2015-02-11 10:58:51
阅读次数：
212
没有运行，直接看源码得到sink简单运行过程SinkRunner负责运行sink程序内部类PollingRunnerimplements Runnable{ private SinkProcessor policy;}负责运行sinkrun方法while (!shouldStop.get()) {....
分类：
Web程序 时间：
2015-02-05 21:47:15
阅读次数：
211
流网络（Flow Networks）指的是一个有向图 G= (V, E)，其中每条边 (u, v) ∈ E 均有一非负容量 c(u, v) ≥ 0。如果 (u, v) ? E 则可以规定 c(u, v) = 0。流网络中有两个特殊的顶点：源点 s （source）和汇点 t（sink）。为方便起见，...
分类：
编程语言 时间：
2015-01-31 11:50:33
阅读次数：
294
概览
flume-ng中最重要的核心三大组件就是source,channel,sink
source负责从源端收集数据
channel负责暂存收集来的数据，以备下游取走消费
sink负责消费通道中的数据，写到最终的输出端上
以上是总体的一个简单结构图，下面我们来深入每一个组件的内部看看：
1、Source
source接口的定义如下：
@Inte...
分类：
Web程序 时间：
2015-01-30 17:45:41
阅读次数：
1035
本人在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下：
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%m/%d...
分类：
Web程序 时间：
2015-01-28 18:00:15
阅读次数：
1115
一直以来，Android对于蓝牙的支持都很混乱，简直可以说是一坨shit。各个版本的协议栈都不一样，最早用的是bluez，进入4.x时代之后，换成了谷歌自己的bluedroid。换就换吧，至少等做完了再用吧，结果4.2、4.3、4.4的bluedroid全都不一样。这就对我等非专业蓝牙开发人员开发蓝牙制造了巨大的麻烦。
好了，吐槽到此为止，该说正事了。因为公司在做智能家居项目，需要在An...
分类：
移动开发 时间：
2015-01-24 14:32:39
阅读次数：
766
