一：flume复习 1.flume是收集，聚合，移动日志的框架 2.agent: source: //接受数据的，生产者 //netcat //ExecSource实时收集：tail -F xxx.txt //spooldir监控文件夹 //seq //Stress 压力测试 //avroSourc ...
分类：
其他好文 时间：
2018-08-17 22:21:56
阅读次数：
210
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配eventbody来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/sh
filename=$1..
分类：
其他好文 时间：
2015-03-12 01:04:37
阅读次数：
157
在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中：privatevoiddoStart(){
booleanerror=true;
try{
channel.start();//调用Channel.start启动Channel
sinkRunner.start();//调用SinkRunner.star..
分类：
其他好文 时间：
2015-03-08 17:24:39
阅读次数：
521
今天继续讨论几个agent的配置。 第一个agent是从终端捕获特定命令执行的输出结果，并将文件输出到特定目录。先看一下配置的代码： agent2.sources = execsource //指定为从命令获取输出的sourceagent2.sinks = filesink ...
分类：
Web程序 时间：
2015-03-01 13:07:42
阅读次数：
148
我们直接看该Source的start方法吧
public void start() {
logger.info("Exec source starting with command:{}", command);
executor = Executors.newSingleThreadExecutor();
runner = new ExecRunnable(shell...
分类：
Web程序 时间：
2015-02-05 11:24:26
阅读次数：
282
