这篇是计算机类的优质预售推荐>>>>《Flume：构建高可用、可扩展的海量日志采集系统》
编辑推荐
开发人员。
内容简介
本书从Flume 的基本概念和设计原理开始讲解，分别介绍了不同种类的组件、如何配置
组件、如何运行Flume Agent 等。同时，分别讨论Source、Channel 和Sink 三种核心组件，不仅仅阐述每个组件的基本概念，而且结合实际的编程案例...
分类：
Web程序 时间：
2015-08-04 19:28:18
阅读次数：
236
上期我们讨论了IO处理过程：Process[I,O]。我们说Process就像电视信号盒子一样有输入端和输出端两头。Process之间可以用一个Process的输出端与另一个Process的输入端连接起来形成一串具备多项数据处理功能的完整IO过程。但合成的IO过程两头输入端则需要接到一个数据源，而另外一端则可能会接到一个数据接收设备如文件、显示屏等。我们在这篇简单地先介绍一下IO数据源Source...
分类：
其他好文 时间：
2015-08-04 15:49:39
阅读次数：
127
上期我们讨论了IO处理过程：Process[I,O]。我们说Process就像电视信号盒子一样有输入端和输出端两头。Process之间可以用一个Process的输出端与另一个Process的输入端连接起来形成一串具备多项数据处理功能的完整IO过程。但合成的IO过程两头输入端则需要接到一个数据源，而....
分类：
其他好文 时间：
2015-08-04 15:23:47
阅读次数：
98
看如下代码段，kafka sink的key完全取决于上游发来的event中的header。所以，如果前面的source是像exec这样的source，由于其中的header为null，所以到了这就发到kafka中就是没key的。没key的情况下，kafka就做不了...
分类：
其他好文 时间：
2015-07-21 15:30:56
阅读次数：
97
1、源码下载：我用的是1.6版，因为加了kafka-sink，下载地址http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-src.tar.gz2、解压缩至C盘根目录下建议放到这个目录下，其他目录并不能保证通过。3、运...
分类：
Web程序 时间：
2015-07-09 00:29:49
阅读次数：
192
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-07-02 06:30:00
阅读次数：
887
七 RTP打包与发送rtp传送开始于函数：MediaSink::startPlaying()。想想也有道理，应是sink跟source要数据，所以从sink上调用startplaying（嘿嘿，相当于directshow的拉模式）。看一下这个函数：BooleanMediaSink::startPla...
分类：
其他好文 时间：
2015-06-24 22:14:52
阅读次数：
216
1 redis source,memory channel,json intercepter and file_roll sink配置例子
agent.sources = redis redis1
agent.channels = memory
agent.sinks = fileSink
agent.sources.redis.type = com.flumeng.plugins...
分类：
Web程序 时间：
2015-06-17 13:31:56
阅读次数：
219
依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
Flume NG有4个主要的组件：
Event表示在Flume各个Agent之间传递的数据流
Source表示从外部源接收Event数据流，然后传递给Channel
Channel表示对从Source传递的Event数据流的临时存储
Sink表示从Channel中接收存储的Event数据流，并传递给下游的Source或者终点仓库
这篇看一下Event接口表示的数据流。Source, ...
分类：
Web程序 时间：
2015-06-16 16:52:55
阅读次数：
178
