一、FlumeNG核心概念二、FlumenNG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Eve..
分类：
Web程序 时间：
2015-02-26 00:09:32
阅读次数：
1266
https://github.com/flsusp/http-queuehttps://github.com/sfr-network-service-platforms/hq-consolehttps://github.com/btoddb/flume-ng-hornetq-channelhttps...
分类：
Web程序 时间：
2015-02-24 18:36:28
阅读次数：
164
prerequisite: JMX http://www.cnblogs.com/itech/archive/2010/09/16/1827999.html http://download.oracle.com/technetwork/java/javase/6/docs/zh/api/java/l...
分类：
Web程序 时间：
2015-02-16 18:07:02
阅读次数：
331
Flume架构主要由3个组件，分别是Source，Channel和Sink，3个组件组成Event在Flume中得数据流向或者说流水线，功能可以由Flume的介绍看出：When a Flume source receives an event, it stores it into one or mo...
分类：
Web程序 时间：
2015-02-15 19:21:33
阅读次数：
320
主要涉及到的类：SpoolDirectorySource 读取用户配置，并按照batchSize去读取这么多量的Event从用户指定的Spooling Dir中。SpoolDirectorySource 不会去读取某一个具体的文件，而是通过内部的reader去读取。文件切换等操作，都是reader去...
分类：
Web程序 时间：
2015-02-12 17:49:29
阅读次数：
284
前言
首先来看一下flume官网中对Event的定义
一行文本内容会被反序列化成一个event【序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化，它将流转换为对象。这两个过程结合起来，可以轻松地存储和传输数据】，event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8，这都是统一的。
但是这个解释是针对Avr...
分类：
Web程序 时间：
2015-02-12 14:05:20
阅读次数：
196
图示
如上图所示红框部分，本人在做稳定性测试的时候，当flume运行几天后，我发现这个counter值逐渐变大，到一定值后，又变小了，有一个循环的过程，故而对此产生研究的欲望，下面来看看：
if (txnEventCount == 0) {
sinkCounter.incrementBatchEmptyCount();
} else if (txnEvent...
分类：
编程语言 时间：
2015-02-12 10:52:27
阅读次数：
1233
这里就简单贴个配置吧，有问题欢迎留言探讨
sink的配置
##############################define [sink] begin##############################
#define the sink k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLoca...
分类：
Web程序 时间：
2015-02-11 10:58:51
阅读次数：
212
最近学习了下flume的使用，以配合公司将日志系统独立出来的开发，官网用户手册：http://flume.apache.org/FlumeUserGuide.html#log4j-appender
1. flume架构
a. 组件
先搬上官网上的架构图
从图上可以看到flume的事件定义成了一个数据流，一个数据流组成了Agent，其实就是JVM实例，每个Agent包...
分类：
Web程序 时间：
2015-02-09 10:57:53
阅读次数：
312
