在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示： （1）节点分配 Flume的Agent和Collector分布如下表所示： 名称 Ip地址 Host 角色 Agent1 192.168.200.101 Itcast01 WebServer Coll ...
分类：
其他好文 时间：
2019-01-23 00:25:43
阅读次数：
234
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便 ...
分类：
Web程序 时间：
2019-01-14 11:52:46
阅读次数：
210
步骤： 1.在Linux下安装netcat工具，用户开启socket客户端： a.切换至root下 $>su root b.执行安装命令 $>yum install -y nc c.切换至Alex_lei用户下，模拟聊天室： $>nc 开启服务端 $>nc -l 55555 开启客户端 $>nc l ...
分类：
Web程序 时间：
2018-12-31 14:43:05
阅读次数：
279
最近做了一个POC，目的是系统日志的收集和分析，此前有使用过splunk，虽然用户体验很好，但一是价格昂贵，二是不适合后期开发（splunk已经推出了SDK，后期开发已经变得非常容易）。在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。先简要介绍一下测试环境 ...
分类：
Web程序 时间：
2018-12-22 12:37:32
阅读次数：
246
http://flume.apache.org/ 安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 ex ...
分类：
Web程序 时间：
2018-11-18 15:02:09
阅读次数：
215
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.4。 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。
分类：
Web程序 时间：
2018-11-11 17:58:27
阅读次数：
283
目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试，供大家参考。 ...
分类：
Web程序 时间：
2018-11-01 15:09:25
阅读次数：
194
Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestam ...
分类：
Web程序 时间：
2018-10-29 21:30:13
阅读次数：
146
Flume 1. 前言 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2018-10-26 11:25:46
阅读次数：
330
以下jie皆来自官网： 1：首先版本是flume 1.8 查看版本： bin/flume-ng version 2：配置与启动 Defining the flow Configuring individual components¶ # properties for sources <Agent>. ...
分类：
Web程序 时间：
2018-09-13 10:22:53
阅读次数：
241
