一、flume-ng简介 请参考官方文档：http://flume.apache.org/FlumeUserGuide.html 二、实例 需求说明：需要监控一个目录，并自动上传到服务器，且需要在传输过程中进行加密。 整体方案：n个client-agent -->server-agent clien...
分类：
Web程序 时间：
2015-07-31 18:16:37
阅读次数：
178
摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
flume是cloudera公司的一款高性能、高可能的分布式日志收集系统。flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。flume传输的数据的基本单位是event，如果是文本文件，通常是一行记...
分类：
Web程序 时间：
2015-07-30 23:16:06
阅读次数：
377
做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储” ? 1）.数据采集 负责从各节点上实时采集数据，选用cloud...
分类：
Web程序 时间：
2015-07-27 21:13:48
阅读次数：
185
介绍
概述
Apache Flume是一个用来从很多不同的源有效地收集，聚集和移动大量的日志数据到一个中心数据仓库的分布式的，可靠的和可用的系统。
Apache Flume是Apache软件基金会的顶级项目。目前有两个可获得的发布代码路线，0.9.x版本和1.x版本。本文档适用于1.x代码线。对于0.9.x代码线，请看Flume 0.9.x开发指南。
结构
数据流模型
一个Eve...
分类：
Web程序 时间：
2015-07-25 21:37:30
阅读次数：
495
Apache Flume是一个用来有效地收集，聚集和移动大量日志数据的分布式的，可获得的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据。这里有两个方法。
Python API：Flume现在还不支持PythonAPI
方法1：Flume风格的推方法
Flume被设计用来在Flume代理之间推送数据。在这种方法中，Spark Streami...
分类：
Web程序 时间：
2015-07-24 09:24:14
阅读次数：
163
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，博主为石山园，博客地址为 http://www.cnblogs.com/shishanyuan 。该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博客边上机实验，...
分类：
Web程序 时间：
2015-07-23 09:29:35
阅读次数：
263
最近在搞kafak+storm+flume实时处理，但是kafka与storm总是会自己莫名死掉，查看日志就是下面的内容： 2015-07-22T03:15:31.808+0800?b.s.event?[INFO]?Event?manager?interrupted 2015-07-22T03:15:31.808...
分类：
其他好文 时间：
2015-07-22 16:44:13
阅读次数：
134
1、所有主机需要安装JDK，并配置JDK环境变量 2、所有主机安装SSH，并相互间实现无密访问 3、修改主机hosts :文件/etc/hosts，保证各机器通过机器名可以互访 4、安装python 2.6及以上（storm用） 5、ZeroMQ Java代...
分类：
Web程序 时间：
2015-07-20 17:06:59
阅读次数：
170
本文是作者研究Flume的一些内容摘要，包括Flume最新的版本及flume的相关组件介绍。...
分类：
Web程序 时间：
2015-07-16 00:54:03
阅读次数：
524
