一、Flume简介 Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统，支持在日志系统中定制各类数据发送方（如：Kafka，HDFS等），便于收集数据。其核心为agent，agent是一个java进程，运行在日志收集节点。 agent里面包含3个核心组件：source、chann ...
分类：
Web程序 时间：
2017-05-14 21:37:29
阅读次数：
342
前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候，会根据配置文件主动把数据event发送到Kafka的broker上，所以只要 ...
分类：
Web程序 时间：
2016-08-30 01:45:16
阅读次数：
258
Flume简介与使用（二）——Thrift Source采集数据 继上一篇安装Flume后，本篇将介绍如何使用Thrift Source采集数据。 Thrift是Google开发的用于跨语言RPC通信，它拥有功能强大的软件堆栈和代码生成引擎，允许定义一个简单的IDL文件来生成不同语言的代码，服务器端 ...
分类：
Web程序 时间：
2016-08-27 19:14:01
阅读次数：
377
Flume简介与使用（一） Flume简介 Flume是一个分布式的、可靠的、实用的服务——从不同的数据源高效的采集、整合、移动海量数据。 分布式：可以多台机器同时运行采集数据，不同Agent的之前通过网络传输数据 可靠的：Flume会将采集的数据缓存在Channel里，当Sink确认数据被接收了后 ...
分类：
Web程序 时间：
2016-08-26 15:16:04
阅读次数：
197
Flume简介
Flume安装1. 解压 flume安装包到 /itcast/ 目录下
tar -zxvf /*flume安装包*/ /itcast/2. 修改 flume配置文件：2.1 flume-env.sh修改文件名称：
mv flume-env.sh.template flume-env.sh添加java_home，保证flume所使用的jdk和hdfs是一样的（可以...
分类：
Web程序 时间：
2016-07-22 19:14:48
阅读次数：
216
场景1. flume是什么1.1 背景 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后...
分类：
Web程序 时间：
2016-06-03 19:53:06
阅读次数：
646
用户行为数据的收集无疑是构建推荐系统的先决条件，而Apache基金会下的Flume项目正是为分布式的日志收集量身打造的，本文是flume基本用法的调研笔记。
本文所用的Flume版本为目前最新版的ver1.5.2，它属于Flume-NG，在系统架构上与Flume-OG有所区别，二者的不同可以参考FlumeWiki文档的说明。
1. Flume是什么
Flume是Apache基金会下的一个开源...
分类：
Web程序 时间：
2015-04-29 19:50:05
阅读次数：
356
================================================================================一、Flume简介================================================================================1、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输..
分类：
其他好文 时间：
2014-08-30 19:11:30
阅读次数：
368
Flume简介
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
系统功能
日志收集
Flume最早是Cloud...
分类：
其他好文 时间：
2014-07-28 14:41:13
阅读次数：
491
