版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]拦截器主要是对事件的header信息信息操作,要么直接忽略他,要么修改他的数据一、EventSerializersfile_rollsink和hdfssink都支持EventSerializer接口1.1、BodyTextSerializerBodyTextSerializer,别名:text。..
分类:
Web程序 时间:
2017-03-15 19:19:25
阅读次数:
254
文章内容还是来自官网http://flume.apache.org/FlumeDeveloperGuide.html由于在实际工作中,数据的生产方式极具多样性,Flume虽然包含了一些内置的机制来采集数据,但是更多的时候用户更希望能将应用程序和flume直接相通。所以这边运行用户开发应用程序,通过IPC或者RPC连接flu..
分类:
其他好文 时间:
2017-03-15 19:19:14
阅读次数:
280
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]一、TransactioninterfaceTransaction接口是基于flume的稳定性考虑的。所有主要的组件(sources、sinks、channels)都必须使用FlumeTransaction。我们也可以理解Transaction接口就是flume的事务,sources和sinks..
分类:
Web程序 时间:
2017-03-15 19:19:00
阅读次数:
281
在实际使用中发现Flume内置的基于正则的解析方式非常耗时,有非常大的提升空间。如果你不需要配置按时间戳解析时间,那这篇文章对你用处不大,hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中,涉及两句代 ...
分类:
Web程序 时间:
2017-03-14 19:35:03
阅读次数:
250
本文将介绍Flume(Spooling Directory Source) + HDFS,关于Flume 中几种Source详见文章 http://www.cnblogs.com/cnmenglang/p/6544081.html 1.资料准备 : apache-flume-1.7.0-bin.ta ...
分类:
Web程序 时间:
2017-03-13 18:53:36
阅读次数:
234
1.flume概念 flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集、聚集和移动,并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境,要求java1.6以上,推荐java1.7. 将下载好的flume安装包解压 ...
分类:
Web程序 时间:
2017-03-13 18:28:03
阅读次数:
252
Flume环境搭建_五种案例 A simple example <!--more--> Here, we give an example configuration file, describing a single-node Flume deployment. This configuration ...
分类:
Web程序 时间:
2017-03-12 18:15:18
阅读次数:
251
Flume介绍 http://flume.apache.org/FlumeUserGuide.html 一、Flume架构图 <!--more--> 含义 Source 规定收集数据的来源 Channel 相当于一个管道,连接source和sink Sink flume agent收集到数据后,数据 ...
分类:
Web程序 时间:
2017-03-12 16:44:36
阅读次数:
215
下载解压到/usr/local/flume 配置环境变量 在conf里配置flume-env.sh 添加jdk路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 验证是否安装成功 root@kali:~# flume-ng version Fl ...
分类:
Web程序 时间:
2017-03-09 21:44:32
阅读次数:
174
一、elasticsearch单机环境搭建 注:elasticsearch对JDK版本这有严格的要求,一般建议安装Java: openjdk version "1.8.0_xx" 配置ElasticSearch 编辑ES的配置文件,修改以下配置项: 启动ES: 打开页面IP:9200,将会看到以下内 ...
分类:
Web程序 时间:
2017-03-08 00:51:22
阅读次数:
640