Flume简介与使用（一） Flume简介 Flume是一个分布式的、可靠的、实用的服务——从不同的数据源高效的采集、整合、移动海量数据。 分布式：可以多台机器同时运行采集数据，不同Agent的之前通过网络传输数据 可靠的：Flume会将采集的数据缓存在Channel里，当Sink确认数据被接收了后 ...
分类：
Web程序 时间：
2016-08-26 15:16:04
阅读次数：
197
flume使用hdfs sinks时候报错：org.apache.flume.EventDeliveryException: java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it w ...
分类：
Web程序 时间：
2016-08-24 12:50:29
阅读次数：
167
一、环境搭建 1. 《OD大数据实战》Hadoop伪分布式环境搭建 2. 《OD大数据实战》Hive环境搭建 3. 《OD大数据实战》Flume入门实例 4. 《OD大数据实战》Kafka入门实例 5. 《OD大数据实战》Oozie环境搭建 6. 7. 《OD大数据实战》HBase环境搭建 二、 ...
分类：
其他好文 时间：
2016-08-17 10:32:16
阅读次数：
1109
1.概述 Flume有能力在运行阶段修改/删除Event，这是通过拦截器（Interceptors）来实现的。 拦截器需要实现org.apache.flume.interceptor.Interceptor接口。 拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。 拦截器采用了责任链模式， ...
分类：
其他好文 时间：
2016-08-13 01:13:51
阅读次数：
300
1.概述 Sink Group允许用户将多个Sink组合成一个实体。 Flume Sink Processor 可以通过切换组内Sink用来实现负载均衡的效果，或在一个Sink故障时切换到另一个Sink。 sinks – 用空格分隔的Sink集合 processor.type default 类型名 ...
分类：
其他好文 时间：
2016-08-13 01:11:04
阅读次数：
131
下载 可以apache官网下载flume的安装包 下载时注意，flume具有两个版本，0.9.x和1.x,两个版本并不兼容，我们学习的是最新的1.x版本，也叫flume-ng版本。 安装 解压到指定目录即可 下载 可以apache官网下载flume的安装包 下载时注意，flume具有两个版本，0.9 ...
分类：
Web程序 时间：
2016-08-12 23:57:24
阅读次数：
258
监听AVRO端口来接受来自外部AVRO客户端的事件流。 利用Avro Source可以实现多级流动、扇出流、扇入流等效果。 另外也可以接受通过flume提供的Avro客户端发送的日志信息。 支持的属性: !channels – !type – 类型名称，"AVRO" !bind – 需要监听的主机名 ...
分类：
其他好文 时间：
2016-08-12 23:56:50
阅读次数：
343
Flume Event - Flume 事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。 Flume Agent- Flume - 代理 - 是一个进程承载从外部源事件流到下一个目的地的过程。 Source - 数据源 - 消耗外部传递给他的事件，外部源将数据按照Flume So ...
分类：
其他好文 时间：
2016-08-12 23:55:35
阅读次数：
225
首先需要通过一个配置文件来配置Agent。 通过flume提供的工具启动agent就可以工作了。 (1)编写配置文件 ＃example.conf：单节点Flume配置 ＃命名Agent a1的组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 ＃描述/ ...
分类：
其他好文 时间：
2016-08-12 23:55:18
阅读次数：
192
flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 是apache的一个顶级项目。 系统需求：jdk1.6以上，推荐java1.7 ...
分类：
Web程序 时间：
2016-08-12 23:54:21
阅读次数：
185
