org.apache.flume.sink.AvroSink是用来通过网络来传输数据的,可以将event发送到RPC服务器(比如AvroSource),使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink
extends AbstractSinkim.....
分类:
其他好文 时间:
2014-06-29 14:29:54
阅读次数:
392
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:
其他好文 时间:
2014-06-05 14:25:48
阅读次数:
300
apache kafka监控系列-KafkaOffsetMonitor
如何给kafka做监控...
分类:
其他好文 时间:
2014-06-05 05:20:36
阅读次数:
264
问题导读:1.什么是flume?2.如何安装flume?3.flume的配置文件与其它软件有什么不同?一、认识flume1.flume是什么?这里简单介绍一下,它是Cloudera的一个产品2.flume是干什么的?收集日志的3.flume如何搜集日志?我们把flume比作情报人员(1)搜集信息(2...
分类:
其他好文 时间:
2014-06-02 15:38:43
阅读次数:
477
SinkRunner.java 开启线程调用相应的Processor(Policy) , 根据
Policy调用process的返回值来决定线程睡眠时间,每次默认延后1s,最大默认为5s。public class SinkRunner implements
LifecycleAware { pri....
分类:
其他好文 时间:
2014-05-28 02:14:36
阅读次数:
524
在AbstractConfigurationProvider类中loadSources方法会将所有的source进行封装成SourceRunner放到了Map
sourceRunnerMap之中。相关代码如下: 1 Map selectorConfig = context.getSu...
分类:
其他好文 时间:
2014-05-27 15:57:09
阅读次数:
347
zookeeper+kafka集群安装之zookeeper集群...
分类:
其他好文 时间:
2014-05-26 04:42:01
阅读次数:
190
在AbstractConfigurationProvider类中loadSinks方法会调用loadSinkGroups方法将所有的sink和sinkgroup放到了Map
sinkRunnerMap之中。 SinkRunner可能对应一个sink也可能对应一个sinkgroup。因为如果配置...
分类:
其他好文 时间:
2014-05-25 22:05:04
阅读次数:
398
这个虚类是kafka.network.Acceptor和kafka.network.Processor的父类,提供了一个抽象的Sever线程。它的有趣之处在于为子类的启动和停止提供了线程间的协作机制。当子类的shutdown方法被调用时,子类可以得知自己被停止,在子类做了适当的处理和清理后,调用自己...
分类:
编程语言 时间:
2014-05-25 19:19:18
阅读次数:
328
apache kafka源代码分析工程搭建(IDEA)...
分类:
其他好文 时间:
2014-05-25 09:04:38
阅读次数:
416