https://github.com/cloudera/flume/blob/master/flume-docs/src/docs/UserGuide/Introduction ...
分类：
其他好文 时间：
2017-11-11 11:37:26
阅读次数：
240
SaltStack 调用API WAF安全 nginx_lua WAF Logstash flume fluentd logstash 实时： stom kafka 架构： flume + stom + kafka + hdfs 应用部署更新 rundesk Piwik流量分析 piwik Zabb ...
分类：
其他好文 时间：
2017-11-10 18:48:27
阅读次数：
207
1、Kafka概览 Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过k ...
分类：
其他好文 时间：
2017-11-10 17:01:22
阅读次数：
344
a1.sources = r1 a1.sinks = s1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sinks.s1.type ...
分类：
Web程序 时间：
2017-11-07 19:49:39
阅读次数：
227
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 ...
分类：
Web程序 时间：
2017-11-06 21:27:05
阅读次数：
188
Flume 是什么 Apache Flume是一个高可靠、高可用的分布式的海量日志收集、聚合、传输系统。它可以从不同的日志源采集数据并集中存储。 Flume也算是Hadoop生态系统的一部分，源于Cloudera，目前是Apache基金会的顶级项目之一。Flume有两条产品线，0.9.x版本和1.x ...
分类：
移动开发 时间：
2017-11-06 21:25:19
阅读次数：
218
写入到hive里 a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.channels = c1a1.sources.r1. ...
分类：
Web程序 时间：
2017-11-03 18:52:37
阅读次数：
179
flume架构图 单节点flume配置 flume-1.4.0 启动flume -n表示配置文件中agent的名字 [java] view plain copy agent.sources = r1 agent.sinks = s1 agent.channels = c1 agent.sources ...
分类：
Web程序 时间：
2017-11-03 18:47:29
阅读次数：
294
Flume概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume主要由3个重要的组件购成： Source:完 ...
分类：
Web程序 时间：
2017-11-03 17:11:25
阅读次数：
268
START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。 一、Flume基础理论 1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收 ...
分类：
Web程序 时间：
2017-11-03 12:55:14
阅读次数：
245
