IDEA查看源码 IDEA快捷键 1 查看接口的实现类：Ctrl+Alt+B 选中按快捷键，然后跳到实现类的地方去 2 切换页面：Alt+<- 和 Alt+-> Alt+-> 3 查看Java方法调用树(被调/主调)：Ctrl+Alt+H 分为调用当前方法的树、当前方法调用的下级方法 4 查看类继承 ...
分类：
Web程序 时间：
2019-11-15 12:15:04
阅读次数：
91
1.下载Flume源码并导入Idea开发工具 1）将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2）通过idea导入flume源码 打开idea开发工具，选择File——》Open 然后找到flume源码解压文件，选中flume-ng-hbase-sink，点击ok ...
分类：
Web程序 时间：
2019-05-10 16:34:53
阅读次数：
226
主要分析了HDFSSink中HDFSEventSink和BucketWriter中关键几个方法
分类：
Web程序 时间：
2017-12-21 17:16:26
阅读次数：
281
Overview source采集的日志首先会传入ChannelProcessor, 在其内首先会通过Interceptors进行过滤加工，然后通过ChannelSelector选择channel。 Source和Sink之间是异步的，sink只需要监听自己关系的Channel的变化即可。 sink ...
分类：
Web程序 时间：
2017-05-18 15:47:19
阅读次数：
400
在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配置按时间戳解析时间，那这篇文章对你用处不大，hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中，涉及两句代 ...
分类：
Web程序 时间：
2017-03-14 19:35:03
阅读次数：
250
【转载】 http://blog.csdn.net/simonchi/article/details/43231891 ERROR hdfs.BucketWriter: Hit max consecutive under-replication rotations (30) 本人在测试hdfs的si ...
分类：
Web程序 时间：
2016-11-24 14:10:03
阅读次数：
422
本节课分成二部分讲解：
一、Spark Streaming on Polling from Flume实战
二、Spark Streaming on Polling from Flume源码
第一部分：
推模式(Flume push SparkStreaming) VS 拉模式（SparkStreaming poll Flume）
采用推模式：推模式的理解就是Flum...
分类：
Web程序 时间：
2016-05-03 18:15:45
阅读次数：
204
本节课分成二部分讲解： 一、Spark Streaming on Polling from Flume实战 二、Spark Streaming on Polling from Flume源码 第一部分： 推模式(Flume push SparkStreaming) VS 拉模式（SparkStrea ...
分类：
Web程序 时间：
2016-04-30 14:15:58
阅读次数：
932
package org.apache.flume.sink;import com.google.common.base.Strings;import org.apache.flume.Channel;import org.apache.flume.Context;import org.apache....
分类：
Web程序 时间：
2015-10-24 17:28:42
阅读次数：
309
目前有一个需求，就是Flume可以作为一个类似于tomcat的服务器，可以通过post请求进行访问，并且路径需要：ip:port/contextPath格式。经过一些资料获悉，httpSource只是httpSource的一个玩具工具，可以说毛坯版，目前仅仅支持的是按照ip:port访问，并不具备s...
分类：
Web程序 时间：
2015-07-10 00:03:28
阅读次数：
353
