从官方下载的flume-ng的源码里有单元测试的代码，本文就通过单元测试来体验下flume中avro的性能如何
本文中的一个event的body内容大小是1KB，读者可自行组织文本，达到1KB即可，方便测试时，性能的计算
for (int i = 0; i < client.getBatchSize(); i++) {
Event event = channel.take()...
分类：
Web程序 时间：
2015-03-09 16:16:56
阅读次数：
5816
apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。 大伙知道，常用的channel主要有三个： 1、memory channel：用内存做channel，优点是速度最快，...
分类：
Web程序 时间：
2015-03-01 19:38:20
阅读次数：
238
flume-ng 1.5 新增一个Spillable memory channel ：http://www.tuicool.com/articles/i2mUfqb虽然可以在sink阻塞时候，把event存入file channel，且file channel在flume崩溃再启动时能恢复数据，但是...
分类：
Web程序 时间：
2015-02-26 14:37:25
阅读次数：
261
一、FlumeNG核心概念二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Eve..
分类：
Web程序 时间：
2015-02-26 00:09:32
阅读次数：
1266
https://github.com/flsusp/http-queuehttps://github.com/sfr-network-service-platforms/hq-consolehttps://github.com/btoddb/flume-ng-hornetq-channelhttps...
分类：
Web程序 时间：
2015-02-24 18:36:28
阅读次数：
164
概览
flume-ng中最重要的核心三大组件就是source,channel,sink
source负责从源端收集数据
channel负责暂存收集来的数据，以备下游取走消费
sink负责消费通道中的数据，写到最终的输出端上
以上是总体的一个简单结构图，下面我们来深入每一个组件的内部看看：
1、Source
source接口的定义如下：
@Inte...
分类：
Web程序 时间：
2015-01-30 17:45:41
阅读次数：
1035
大家在启动flume的时候，输入的命令就可以看出flume的启动入口了
[root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1
Info: Sourcing environment configuration script /home/flume/apache-flu...
分类：
移动开发 时间：
2015-01-21 18:22:15
阅读次数：
330
首先从flume官网去下载源码
http://flume.apache.org/download.html
下载完之后，解压，首先去除源码中hdfs和hadoop的test依赖
apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml
org.apache.hbase...
分类：
Web程序 时间：
2015-01-20 18:05:28
阅读次数：
210
由于flume-ng至1.5版本仍旧没有稳定可用的类似flume-og中的taildir的功能，所以从git中https://github.com/jinoos/flume-ng-extends找了一个别人针对flume-ng实现的的taildir这个按照github上他自己说明，是没法正常使用的。...
分类：
Web程序 时间：
2014-12-29 18:07:39
阅读次数：
219
