flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核 ...
分类：
Web程序 时间：
2018-08-19 20:07:13
阅读次数：
304
http://flume.apache.org/ 安装 1、上传 2、解压 3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项 4、验证安装是否成功 ./flume-ng version 5、配置环境... ...
分类：
Web程序 时间：
2018-08-09 13:49:25
阅读次数：
192
一、需求利用flume采集Linux下的文件信息，并且传入到kafka集群当中。环境准备zookeeper集群和kafka集群安装好。二、配置flume官网下载flume。博主自己这里使用的是flume1.6.0。官网地址http://flume.apache.org/download.html解压... ...
分类：
Web程序 时间：
2018-06-03 00:02:50
阅读次数：
236
flume采集过程： #说明：案例是flume监听目录/home/hadoop/flume_kafka采集到kafka； 启动集群 启动kafka， 启动agent，flume-ng agent -c . -f /home/hadoop/flume-1.7.0/conf/myconf/flume-k ...
分类：
Web程序 时间：
2018-05-28 22:39:51
阅读次数：
345
一、官网教程案例学习 Kafka — 分布式消息队列 消息系统 消息中间件：缓冲于生产与消费中间 缓冲满了，可以进行Kafka的扩容 特性： 水平扩展性、容错性、实时、快 Kafka架构： 理解producer、consumer、broker（缓冲区）、topic（标签） 一个配置文件（server ...
分类：
其他好文 时间：
2018-03-11 17:38:13
阅读次数：
182
1.环境 centos，apache-flume-1.6.0-bin.tar.gz 2.解压 进入conf/目录，创建*.properties文件 3.启动 进入bin目录 ./flume-ng agent --conf ../conf --conf-file ../conf/*.propertie ...
分类：
其他好文 时间：
2018-02-08 20:07:20
阅读次数：
189
铭文一级： 第8章 Spark Streaming进阶与案例实战 黑名单过滤 访问日志 ==> DStream20180808,zs20180808,ls20180808,ww ==> (zs: 20180808,zs)(ls: 20180808,ls)(ww: 20180808,ww) 黑名单列表 ...
分类：
其他好文 时间：
2018-01-30 12:11:24
阅读次数：
155
1，启动命令 在bin目录下 flume-ng.cmd agent -conf ../conf -conf-file ../conf/spooling.conf -name a1 -property flume.root.logger=INFO,console 2，自定义拦截器 实现org.apac ...
分类：
Web程序 时间：
2017-12-31 12:56:33
阅读次数：
219
Apache Flume概述 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 支持定制各类数据发送方，用于收集各类型数据；同时，Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。一般的采集需求，通过对 flu ...
分类：
Web程序 时间：
2017-12-08 23:58:12
阅读次数：
358
1、负载均衡场景 1）初始：上游Agent通过round_robin selector, 将event轮流发送给下游Collecotor1, Collector2 2）故障： 关闭Collector1进程来模拟故障，Agent1由于配置了backoff, 会将Collecotor1暂时从发送列表中移 ...
分类：
Web程序 时间：
2017-12-02 19:09:11
阅读次数：
225
