实践一：regex filter interceptor 1、目标场景 regex filter interceptor的作用： 1）将event body的内容和配置中指定的正则表达式进行匹配2）如果内容匹配，则将该event丢弃3）如果内容不匹配，则将该event放行 2、Flume Agent ...
分类：
Web程序 时间：
2017-12-03 18:09:32
阅读次数：
314
1、目标场景 2、flume agent配置文件 3、验证timestamp+host interceptor 验证思路： 1）先将interceptor作用后的event，通过logger sink打印到console，验证header是否正常添加2）修改sink为hdfs, 观察目录和文件的名称 ...
分类：
Web程序 时间：
2017-12-03 13:56:54
阅读次数：
302
1、负载均衡场景 1）初始：上游Agent通过round_robin selector, 将event轮流发送给下游Collecotor1, Collector2 2）故障： 关闭Collector1进程来模拟故障，Agent1由于配置了backoff, 会将Collecotor1暂时从发送列表中移 ...
分类：
Web程序 时间：
2017-12-02 19:09:11
阅读次数：
225
1、实践场景 模拟上游Flume Agent在发送event时的故障切换 （failover） 1）初始：上游Agent向active的下游节点Collector1传递event 2）Collector1故障： kill该进程的方式来模拟， event此时发送给Collector2，完成故障切换 3 ...
分类：
Web程序 时间：
2017-12-02 11:11:03
阅读次数：
152
前言 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概 ...
分类：
Web程序 时间：
2017-12-01 17:42:24
阅读次数：
292
1、 安装flumeflume安装，解压后修改flume_env.sh配置文件，指定java_home即可。cp hdfs jar包到flume lib目录下（否则无法抽取数据到hdfs上）：$ cp /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/share/hadoop... ...
分类：
Web程序 时间：
2017-11-26 11:09:58
阅读次数：
253
摘自：https://flume.apache.org/FlumeUserGuide.html 是什么： Flume是一个用来收集聚合海量多来源日志数据并转移到一个数据存储中心的分布式，可依赖，高可用，高性能服务框架。他基于流数据提供简单灵活的架构。具有健壮性，容错性。他提供了一个简单可扩展的数据模 ...
分类：
Web程序 时间：
2017-11-22 17:47:36
阅读次数：
224
flume 整合 kafka： flume 采集业务日志，发送到kafka 安装部署Kafka Download 1.0.0 is the latest release. The current stable version is 1.0.0. You can verify your downloa ...
分类：
Web程序 时间：
2017-11-22 17:42:32
阅读次数：
302
Flume单机版环境搭建 搭建步骤： 1.环境准备：在win7系统 内存（8G）的硬件环境下，搭建1台centOS虚拟机 1.1给机器配置主机名（ip需要固定） 1.2 Xshell远程命令连接上该虚拟机 1.3 为该台虚拟机配置用户/密码登录 2.配置jdk 2.1指定目录下解压jdk压缩包 # ...
分类：
Web程序 时间：
2017-11-16 23:59:36
阅读次数：
527
采集数据到kafka，然后再通过flume将数据保存到hdfs上面。在这个过程当中出现了一堆的问题。 （1）一直是提醒说必须指定topic，然后发现我kafka用的是0.9.0.1，然而我的flume用的是1.6.然后将flume的版本调为1.7之后问题解决了。 （2）flume能够正常启动。然而这 ...
分类：
Web程序 时间：
2017-11-15 22:06:39
阅读次数：
397
