码迷,mamicode.com
首页 >  
搜索关键字:flume    ( 1090个结果
Flume NG 学习笔记(八)Interceptors(拦截器)测试
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]拦截器主要是对事件的header信息信息操作,要么直接忽略他,要么修改他的数据一、EventSerializersfile_rollsink和hdfssink都支持EventSerializer接口1.1、BodyTextSerializerBodyTextSerializer,别名:text。..
分类:Web程序   时间:2017-03-15 19:19:25    阅读次数:254
lume NG 学习笔记(九)Flune Client 开发
文章内容还是来自官网http://flume.apache.org/FlumeDeveloperGuide.html由于在实际工作中,数据的生产方式极具多样性,Flume虽然包含了一些内置的机制来采集数据,但是更多的时候用户更希望能将应用程序和flume直接相通。所以这边运行用户开发应用程序,通过IPC或者RPC连接flu..
分类:其他好文   时间:2017-03-15 19:19:14    阅读次数:280
Flume NG 学习笔记(十) Transaction、Sink、Source和Channel开发
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]一、TransactioninterfaceTransaction接口是基于flume的稳定性考虑的。所有主要的组件(sources、sinks、channels)都必须使用FlumeTransaction。我们也可以理解Transaction接口就是flume的事务,sources和sinks..
分类:Web程序   时间:2017-03-15 19:19:00    阅读次数:281
修改Flume-NG的hdfs sink解析时间戳源码大幅提高写入性能
在实际使用中发现Flume内置的基于正则的解析方式非常耗时,有非常大的提升空间。如果你不需要配置按时间戳解析时间,那这篇文章对你用处不大,hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中,涉及两句代 ...
分类:Web程序   时间:2017-03-14 19:35:03    阅读次数:250
大数据系列之Flume+HDFS
本文将介绍Flume(Spooling Directory Source) + HDFS,关于Flume 中几种Source详见文章 http://www.cnblogs.com/cnmenglang/p/6544081.html 1.资料准备 : apache-flume-1.7.0-bin.ta ...
分类:Web程序   时间:2017-03-13 18:53:36    阅读次数:234
大数据系列之Flume--几种不同的Sources
1.flume概念 flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集、聚集和移动,并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境,要求java1.6以上,推荐java1.7. 将下载好的flume安装包解压 ...
分类:Web程序   时间:2017-03-13 18:28:03    阅读次数:252
Flume环境搭建_五种案例
Flume环境搭建_五种案例 A simple example <!--more--> Here, we give an example configuration file, describing a single-node Flume deployment. This configuration ...
分类:Web程序   时间:2017-03-12 18:15:18    阅读次数:251
Flume介绍
Flume介绍 http://flume.apache.org/FlumeUserGuide.html 一、Flume架构图 <!--more--> 含义 Source 规定收集数据的来源 Channel 相当于一个管道,连接source和sink Sink flume agent收集到数据后,数据 ...
分类:Web程序   时间:2017-03-12 16:44:36    阅读次数:215
Flume 1.7.0单机版安装
下载解压到/usr/local/flume 配置环境变量 在conf里配置flume-env.sh 添加jdk路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 验证是否安装成功 root@kali:~# flume-ng version Fl ...
分类:Web程序   时间:2017-03-09 21:44:32    阅读次数:174
flume+elasticsearch+kibana遇到的坑
一、elasticsearch单机环境搭建 注:elasticsearch对JDK版本这有严格的要求,一般建议安装Java: openjdk version "1.8.0_xx" 配置ElasticSearch 编辑ES的配置文件,修改以下配置项: 启动ES: 打开页面IP:9200,将会看到以下内 ...
分类:Web程序   时间:2017-03-08 00:51:22    阅读次数:640
1090条   上一页 1 ... 54 55 56 57 58 ... 109 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!