RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配eventbody来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/sh
filename=$1..
分类：
其他好文 时间：
2015-03-12 01:04:37
阅读次数：
157
1.启动命令nohupbin/flume-ngagent-nagent-server-fagent-server1.conf&flume-ng是一个shell脚本：agentrunaFlumeagent--->org.apache.flume.node.Application类
avro-clientrunanavroFlumeclient--->org.apache.flume.client.avro.AvroCLIClient类run_flume(){#shel..
分类：
Web程序 时间：
2015-03-12 01:04:27
阅读次数：
322
flume可以监控并管理组件的运行状态，在组件关闭的时候可以自动拉起来，原理是通过启动一个计划任务线程池（monitorService，线程的最大数量为30），运行监控线程（MonitorRunnable线程），每隔3s判断组件(包括Channel，SinkRunner)的状态是否符合要求(可用的状态由两种START和..
分类：
Web程序 时间：
2015-03-12 01:04:09
阅读次数：
2319
首先你需要了解JAVA KEYSTORE该SSL用于Avro Sink到Avro Source之间的数据传输
该场景主要用于分布式Flume之间的数据传输，从分散的各个flume agent到中心汇集节点的flume agent下面来看下如何实现的？Avro Sink SSL在这个传输过程中，sink其实就相当于socket的client端了
flume源码中有个类NettyAvroRpcCli...
分类：
Web程序 时间：
2015-03-10 12:09:08
阅读次数：
533
Flume架构主要由3个组件，分别是Source，Channel和Sink，3个组件组成Event在Flume中得数据流向或者说流水线，功能可以由Flume的介绍看出：When a Flume source receives an event, it stores it into one or mo...
分类：
Web程序 时间：
2015-02-15 19:21:33
阅读次数：
320
前言
首先来看一下flume官网中对Event的定义
一行文本内容会被反序列化成一个event【序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化，它将流转换为对象。这两个过程结合起来，可以轻松地存储和传输数据】，event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8，这都是统一的。
但是这个解释是针对Avr...
分类：
Web程序 时间：
2015-02-12 14:05:20
阅读次数：
196
大家在启动flume的时候，输入的命令就可以看出flume的启动入口了
[root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1
Info: Sourcing environment configuration script /home/flume/apache-flu...
分类：
移动开发 时间：
2015-01-21 18:22:15
阅读次数：
330
文章发自http://www.cnblogs.com/hark0623/p/4205756.html 转载请注明flume越用越有一些疑惑，这个月中按计划是要阅读flume源码的，我希望能解决我的疑惑，另外，当疑惑解决后，我也会把过程和结论发到博客中，最终会把链接更新至当前帖子中的，疑惑如下：1、通...
分类：
Web程序 时间：
2015-01-06 13:33:59
阅读次数：
154
Flume数据传输事务分析
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别的数据恢复，但是一般情况下，不断电MemoryChannel是不会...
分类：
其他好文 时间：
2014-09-30 17:11:59
阅读次数：
187
