1. hbase sink介绍 1.1 HbaseSink 1.2 AsyncHbaseSink 2. 配置flume 3. 运行测试flume 4. 使用RegexHbaseEventSerializer来处理些HBASE的值 5. 效率测试 1. hbase sink介绍 1.1 HbaseSi ...
分类：
Web程序 时间：
2016-12-16 14:07:02
阅读次数：
413
Technorati Tags: Solr,Hue,Flume,Morphline,大数据1.Flume和Morphline添加日志打印 log4j.logger.org.apache.flume.sink.solr=DEBUG log4j.logger.org.kitesdk.morphline=... ...
分类：
Web程序 时间：
2016-12-12 22:14:49
阅读次数：
236
企业架构 概念: 三大功能 collecting(收集),aggregating(聚合),moving(传输) 特点: on streaming data flows(基于流式的数据) Flume-ng只有一个角色节点: agent的角色,agent有source、channel、sink组成 Fl ...
分类：
Web程序 时间：
2016-11-24 15:09:24
阅读次数：
215
企业中的日志存放_1 企业中的日志存放_2 企业中常用架构 Flume多sink ...
分类：
Web程序 时间：
2016-11-24 14:50:00
阅读次数：
327
案例一: source：hive.log channel: memory sink: logger输出 案例二:source：hive.log channel: file sink: logger输出 案例三:source：hive.log channel: mem sink: hdfs ...
分类：
Web程序 时间：
2016-11-24 14:30:56
阅读次数：
296
【转载】 http://blog.csdn.net/simonchi/article/details/43231891 ERROR hdfs.BucketWriter: Hit max consecutive under-replication rotations (30) 本人在测试hdfs的si ...
分类：
Web程序 时间：
2016-11-24 14:10:03
阅读次数：
422
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 这里是Pipe原理的图示： 创建管道 通过Pipe.open()方法打开管道。例如： 向管道写数据 要向管道写数据，需要访问sink通道。像这样： ...
分类：
编程语言 时间：
2016-10-27 09:57:23
阅读次数：
193
PHP书写规范 PHP Coding Standard PHP书写规范 作者：sink <sink.cup@gmail.com> 最后修改：2011-7-13 参考资料： PHP Manual http://www.php.net/manual/zh/language.oop5.basic.php ...
分类：
Web程序 时间：
2016-10-22 17:07:20
阅读次数：
262
管道（Pipe） （本部分原文链接，作者：Jakob Jenkov，译者：黄忠，校对：丁一） Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 这里是Pipe原理的图示： 创建管道 通过Pipe. ...
分类：
编程语言 时间：
2016-10-19 02:54:16
阅读次数：
202
我们一起来了解Source、Channel和Sink的全链路过程。 一、Flume架构分析 这个图中核心的组件是： Source，ChannelProcessor，Channel，Sink。他们的关系结构如下： Source { ChannelProcessor { Channel ch1 Chan ...
分类：
Web程序 时间：
2016-10-19 01:33:00
阅读次数：
196
