版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]一、TransactioninterfaceTransaction接口是基于flume的稳定性考虑的。所有主要的组件（sources、sinks、channels)都必须使用FlumeTransaction。我们也可以理解Transaction接口就是flume的事务，sources和sinks..
分类：
Web程序 时间：
2017-03-15 19:19:00
阅读次数：
281
在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配置按时间戳解析时间，那这篇文章对你用处不大，hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中，涉及两句代 ...
分类：
Web程序 时间：
2017-03-14 19:35:03
阅读次数：
250
下载解压到/usr/local/flume 配置环境变量 在conf里配置flume-env.sh 添加jdk路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 验证是否安装成功 root@kali:~# flume-ng version Fl ...
分类：
Web程序 时间：
2017-03-09 21:44:32
阅读次数：
174
本文主要介绍使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。 一、环境搭建 1、flune-ng下载地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz2、mong ...
分类：
数据库 时间：
2017-03-07 22:33:25
阅读次数：
234
Kafka 由LinkedIn于2010年12月(https://thenewstack.io/streaming-data-at-linkedin-apache-kafka-reaches-1-1-trillion-messages-per-day/)开源出来一个消息的发布/订阅系统，用scala ...
分类：
Web程序 时间：
2017-02-25 19:56:27
阅读次数：
479
Flume和Sqoop是Hadoop数据集成和收集系统，两者的定位不一样，下面根据个人的经验与理解和大家做一个介绍：Flume由cloudera开发出来，有两大产品：Flume-og和Flume-ng，Flume-og的架构过于复杂，在寻问当中会有数据丢失，所以放弃了。现在我们使用的是Flume-ng，主要是日志采集..
分类：
Web程序 时间：
2016-12-13 00:31:08
阅读次数：
344
环境：CentOS6.6 64位 + flume 1.6 一、安装及简单实例 注意：需要预先安装JDK，因为flume是基于Java的。 下载flume软件包，并解压到/opt目录下： 补充： 1)、模板example.conf内容如下： #配置一个agent 名字为a1 #声明这个agent的三个 ...
分类：
Web程序 时间：
2016-11-24 18:47:04
阅读次数：
473
企业架构 概念: 三大功能 collecting(收集),aggregating(聚合),moving(传输) 特点: on streaming data flows(基于流式的数据) Flume-ng只有一个角色节点: agent的角色,agent有source、channel、sink组成 Fl ...
分类：
Web程序 时间：
2016-11-24 15:09:24
阅读次数：
215
案例一: source：hive.log channel: memory sink: logger输出 案例二:source：hive.log channel: file sink: logger输出 案例三:source：hive.log channel: mem sink: hdfs ...
分类：
Web程序 时间：
2016-11-24 14:30:56
阅读次数：
296
Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，采集新数据发送给消息队列等。 1 安装部署Flume 若要采集数据节点的本地数据，每个节点都需要安装一个Flume工具，用来做数据采集。 1.1 下载并安装 到官网去下载最新版本的Flume 下载地址为：http://flu ...
分类：
Web程序 时间：
2016-11-02 17:54:55
阅读次数：
357
