一、日志采集：从网络端口接收数据，下沉到logger 文件netcat-logger.conf: 启动命令：#告诉flum启动一个agent,指定配置参数, --name:agent的名字,flume-ng agent --conf conf --conf-file conf/netcat-logg ...
分类：
Web程序 时间：
2017-05-08 16:07:49
阅读次数：
186
如果还没看过Flume-ng源码解析之启动流程，可以点击Flume-ng源码解析之启动流程查看1接口介绍组件的分析顺序是按照上一篇中启动顺序来分析的，首先是Channel，然后是Sink，最后是Source，在开始看组件源码之前我们先来看一下两个重要的接口，一个是LifecycleAware，另一个是Nam..
分类：
Web程序 时间：
2017-04-28 23:36:09
阅读次数：
268
虽然比较久，但是这套架构已经很成熟了，记录一下 一般数据流向，从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1）.数据采集 负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入 由于采集数据的速度和数据处理的速度不一定同步，因此添 ...
分类：
Web程序 时间：
2017-04-27 17:53:35
阅读次数：
294
flume日志采集框架使用 本次学习使用的全部过程均不在集群上，均在本机环境，供学习参考 先决条件： flume-ng-1.6.0-cdh5.8.3.tar 去cloudrea下载flume框架，笔者是用cdh5.8.3的套餐 flume-ng-1.6.0-cdh5.8.3.tar 去cloudre ...
分类：
Web程序 时间：
2017-04-02 14:38:46
阅读次数：
242
一、简介Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方的能力。Flume在0.9.xand1.x之间有较大的架构调整，1.x版本之后的改称FlumeNG(nextgeneration)，0.9.x的称..
分类：
Web程序 时间：
2017-03-15 19:25:53
阅读次数：
188
下面的内容基本来自官网：http://flume.apache.org/FlumeUserGuide.html本文使用的是最新版本的apacheflume1.5，安装完Flume然后测试下Flume是否可以用，在Flume目录下用以下语句测试：bin/flume-ngagent-n$agent_name-cconf-fconf/flume-conf.properties.template结果如图显示..
分类：
Web程序 时间：
2017-03-15 19:25:06
阅读次数：
210
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]在通过flume采集日志数据的时候，一般都是通过flume代理从日志源或者日志客户端采集数据到flume代理中，然后再由flume代理送到目标存储.上图中就是每个一级flume代理负责从webserv采集数据,然后再由一个二级flu..
分类：
Web程序 时间：
2017-03-15 19:24:36
阅读次数：
322
首先、这节水的东西就比较少了，大部分是例子。一、AvroSource与ThriftSourceAvro端口监听并接收来自外部的Avro客户流的事件。当内置Avro去Sinks另一个配对Flume代理，它就可以创建分层采集的拓扑结构。官网说的比较绕，当然我的翻译也很弱，其实就是flume可以多级代理，然后代..
分类：
Web程序 时间：
2017-03-15 19:23:56
阅读次数：
257
一、HDFSSinkFlumeSink是将事件写入到Hadoop分布式文件系统（HDFS）中。主要是Flume在Hadoop环境中的应用，即Flume采集数据输出到HDFS，适用大数据日志场景。目前，它支持HDFS的文本和序列文件格式，以及支持两个文件类型的压缩。支持将所用的时间、数据大孝事件的数量为操作参..
分类：
Web程序 时间：
2017-03-15 19:23:05
阅读次数：
304
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]拦截器主要是对事件的header信息信息操作，要么直接忽略他，要么修改他的数据一、EventSerializersfile_rollsink和hdfssink都支持EventSerializer接口1.1、BodyTextSerializerBodyTextSerializer，别名：text。..
分类：
Web程序 时间：
2017-03-15 19:19:25
阅读次数：
254
