https://yq.aliyun.com/articles/50487?spm=5176.100239.blogcont43566.18.uawbnY ...
分类：
Web程序 时间：
2017-10-12 19:19:21
阅读次数：
202
一、概述1.通过搭建高可用flume来实现对数据的收集并存储到hdfs上，架构图如下：二、配置Agent1.catflume-client.properties#namethecomponentsonthisagent声明source、channel、sink的名称
a1.sources=r1
a1.sinks=k1k2
a1.channels=c1
#Describe/configurethesource声明sour..
分类：
Web程序 时间：
2017-09-04 15:13:56
阅读次数：
371
背景：系统的数据量越来越大，日志不能再简单的文件的保存，如此日志将会越来越大，也不方便查找与分析，综合考虑下使用了flume来收集日志，收集日志后向kafka传递消息，下面给出具体的配置 启动方式： bin/flume-ng agent --conf conf --conf-file conf/ka ...
分类：
Web程序 时间：
2017-08-31 00:59:03
阅读次数：
274
Flume NG集群+Kafka集群整合： 修改Flume配置文件（flume-kafka-server.conf），让Sink连上Kafka hadoop1: hadoop2: 集群测试： hadoop3： hadoop1： 测试完毕，这样Flume+kafka就整合起来了，即Flume+Kafk ...
分类：
Web程序 时间：
2017-08-27 14:06:04
阅读次数：
298
Flume NG高可用集群搭建： 架构总图： 架构分配： 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf)： collector1 ...
分类：
Web程序 时间：
2017-08-26 19:40:56
阅读次数：
373
Flume NG概述： Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责 ...
分类：
Web程序 时间：
2017-08-26 17:01:20
阅读次数：
246
1.Flume相关：(1)window环境上flume启动命令： D:\apache-flume-1.6.0-bin\bin>路径下，先执行： java -Dflume.root.logger=INFO,console 再执行： flume-ng.cmd agent -conf ../conf -c ...
分类：
其他好文 时间：
2017-06-15 20:25:37
阅读次数：
161
从bin/flume 这个shell脚本能够看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。 main方法首先会先解析shell命令，假设指定的配置文件不存在就甩出异常。 依据命令中含有"no-reload-conf"參数 ...
分类：
编程语言 时间：
2017-05-29 12:03:03
阅读次数：
286
Flume下载后，解压，新增一个配置文件，写入配置即可 我将配置文件写在 conf 下，取名为 flume-conf-spooldir.properties Flume 运行命令： bin/flume-ng agent --conf conf --conf-file conf/flume-conf- ...
分类：
Web程序 时间：
2017-05-24 21:13:37
阅读次数：
207
在上一篇中讲了Flume NG配置模块主要的接口的类，PropertiesConfigurationProvider提供了基于properties配置文件的静态配置的能力，这篇细说一下PollingPropertiesFileConfigurationProvider提供的执行时动态改动配置并生效的 ...
分类：
Web程序 时间：
2017-05-24 19:23:19
阅读次数：
155
