目录 一、背景 二、Flume的简介 三、Flume NG的介绍 3.1 Flume特点 3.2 Flume的一些核心概念 3.3 Flume NG的体系结构 3.4 Source 3.5 Channel 3.6 Sink 四、Flume的部署类型 4.1 单一流程 4.2 多代理流程（多个agen ...
分类：
Web程序 时间：
2020-01-22 10:51:06
阅读次数：
131
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.4。 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。
分类：
Web程序 时间：
2018-11-11 17:58:27
阅读次数：
283
官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources。Flume Sources 描述。
分类：
Web程序 时间：
2018-11-11 17:58:18
阅读次数：
181
单一代理流配置。通过一个通道将来源和接收器链接。需要列出源，接收器和通道，为给定的代理，然后指向源和接收器及通道。一个源的实例可以指定多个通道，但只能指定一个接收器实例。格式如下：
分类：
Web程序 时间：
2018-11-11 17:53:51
阅读次数：
166
定义：Channels are the repositories where the events are staged on a agent. Source adds the events and Sink removes it. 本文根据flume官网提供的Flume 1.8.0 User Gu ...
分类：
Web程序 时间：
2018-02-07 22:44:18
阅读次数：
501
本文根据flume官网提供的Flume 1.8.0 User Guide整理得出的，主要内容是总结了flume1.8.0支持的各种sink，见下表。 将接收到的events转换成avro events 并发送给指定地址的avro客户端 将接收到的events转换成thrift events 并发送给 ...
分类：
Web程序 时间：
2018-02-07 21:19:33
阅读次数：
240
绪论： 本文根据flume官网提供的Flume 1.8.0 User Guide整理得出的，主要包括flume1.8.0支持的各种source（见表0.1）及其说明。 监测该目录中的文件变化并读取变动内容。 注意：1.将某个文件移动到该目录后， 一、Avro Source ...
分类：
Web程序 时间：
2018-02-06 14:16:34
阅读次数：
203
Flume NG集群+Kafka集群整合： 修改Flume配置文件（flume-kafka-server.conf），让Sink连上Kafka hadoop1: hadoop2: 集群测试： hadoop3： hadoop1： 测试完毕，这样Flume+kafka就整合起来了，即Flume+Kafk ...
分类：
Web程序 时间：
2017-08-27 14:06:04
阅读次数：
298
Flume NG高可用集群搭建： 架构总图： 架构分配： 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf)： collector1 ...
分类：
Web程序 时间：
2017-08-26 19:40:56
阅读次数：
373
Flume NG概述： Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责 ...
分类：
Web程序 时间：
2017-08-26 17:01:20
阅读次数：
246
