一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的 ...
分类：
Web程序 时间：
2019-08-31 17:18:53
阅读次数：
130
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便 ...
分类：
Web程序 时间：
2019-01-14 11:52:46
阅读次数：
210
Flume 1. 前言 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2018-10-26 11:25:46
阅读次数：
330
分布式日志收集系统日志收集系统采用elasticsearch+fluentd+kibana，用fluentd代替elk社区里的logstash，logstas的插件是最多的，同时logstash的性能和资源消耗太高，经某站大佬压力测试，在环境为2核4g的云计算服务器上，logstash写入qps极限为8000，通过结合易瑞现有询报价系统，同时也是用户3000+的项目产品，logstash负载压力显
分类：
其他好文 时间：
2018-03-16 14:00:25
阅读次数：
340
绪论： 本文的内容包括flume的背景、数据流模型、常见的数据流操作、flume agent启动和flume agent简单实例。参考文档为flume官网的flume1.8.0 FlumeUserGuide。 一、背景 flume是由cloudera软件公司产出的可分布式日志收集系统，2009年被捐 ...
分类：
Web程序 时间：
2018-02-05 20:10:49
阅读次数：
284
START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。 一、Flume基础理论 1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收 ...
分类：
Web程序 时间：
2017-11-03 12:55:14
阅读次数：
245
Scribe简介Scribe是Facebook开源的分布式日志收集系统，目前在各大互联网公司内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可..
分类：
其他好文 时间：
2017-09-13 17:17:43
阅读次数：
246
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。通过agent接收日志，然后暂存起来，再发送到目的地。3.agent里面包含3个核心组件：source、channel、sink。 3 ...
分类：
Web程序 时间：
2017-04-10 13:08:21
阅读次数：
178
flume 1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2016-07-13 01:00:08
阅读次数：
228
1 .背景 flume是由鼎鼎大名的cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程 ...
分类：
Web程序 时间：
2016-07-10 21:27:04
阅读次数：
211
