从官方下载的flume-ng的源码里有单元测试的代码，本文就通过单元测试来体验下flume中avro的性能如何
本文中的一个event的body内容大小是1KB，读者可自行组织文本，达到1KB即可，方便测试时，性能的计算
for (int i = 0; i < client.getBatchSize(); i++) {
Event event = channel.take()...
分类：
Web程序 时间：
2015-03-09 16:16:56
阅读次数：
5816
上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path=hdfs://xxxxx/%{logtypename}/%Y%m%d/%H：
hdfs.rollInterval=60
hdfs.rollSize=0//想让文件只根据实际来roll
hdfs.rollCount=0
hd..
分类：
其他好文 时间：
2015-03-08 01:32:45
阅读次数：
4543
flume的主要组件包括：Source,SourceRunner,Interceptor,Channel,ChannelSelector，ChannelProcessor，Sink,SinkRunner,SinkProcessor,SinkSelector等工作流程包含两个部分：source->channel，数据由source写入channel，主动模式，主要步骤如下：一个SourceRunner包含一个So..
分类：
Web程序 时间：
2015-03-06 06:24:30
阅读次数：
217
解法一、网络流相邻的点染不同颜色： (行数+列数)为奇数的染成白色，(行数+列数)为偶数的染成白色source = 0, sink = n*n+1.source到每个白点连接，流量为白点的值黑点到sink连接，流量为黑点的值每个白点与其周围的黑点连接，流量为INT_MAX所有点的值的总和 - 最大....
分类：
其他好文 时间：
2015-03-06 00:54:39
阅读次数：
208
flume 1.5.2
hbase 0.98.9
hadoop 2.6
zk 3.4.6
以上是基础的软件及对应版本，请先确认以上软件安装成功！
1、添加jar包支持
将hbase的lib下的这些jar包拷贝到flume的lib下
2、配置flume
注意看以上的serializer配置，采用的是官方的RegexHbaseEventSerializer，
...
分类：
Web程序 时间：
2015-03-04 11:05:56
阅读次数：
258
flume作为日志收集端，其本质上也是一个生产者消费者结构，source作为消息的producer，sink作为消息的consumer，中间的channel作消息的存储为了保证消息消费的正确性，flume使用了事务的机制，主要涉及的类：1）org.apache.flume.Transaction接口类，为访问channel提供事务的功..
分类：
Web程序 时间：
2015-03-04 06:22:18
阅读次数：
282
对于flume的监控，只需要监控channel的性能数据即可，source和sink的性能一部分可以从channel中表现出来。以MemoryChannel为例，在MemoryTransaction的构造函数中会实例化一个org.apache.flume.instrumentation.ChannelCounter对象publicMemoryTransaction(inttransCapacity,Ch..
分类：
Web程序 时间：
2015-03-04 06:22:07
阅读次数：
250
org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner对象抽象方法：process和Sink的process方法类似（内部实现增加了选择Sink的功能）setSinks设置sinks具体实现类：org.apache.flume.s..
分类：
Web程序 时间：
2015-03-04 06:18:28
阅读次数：
206
最后提及两个agent。首先第一个是使用一个avro souce和一个avro sink向另一个agent传递event，然后再写入特定目录。 先看看配置代码。 agent6.sources = avrosource //定义avrosource，可以使用avro client在网络上向其传...
分类：
Web程序 时间：
2015-03-02 12:33:12
阅读次数：
191
flume-ng 1.5 新增一个Spillable memory channel ：http://www.tuicool.com/articles/i2mUfqb虽然可以在sink阻塞时候，把event存入file channel，且file channel在flume崩溃再启动时能恢复数据，但是...
分类：
Web程序 时间：
2015-02-26 14:37:25
阅读次数：
261
