flume拦截器

标签：.so   seda   index   配置   utils   header   equal   sources   div   

拦截器作用：拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。

flume修改时间戳的插件见 https://github.com/haebin/flume-timestamp-interceptor

有一个缺陷是，DateUtils.parseDate(timestamp, dateFormat)里面的dateFormat不支持unix时间戳，只能自己手动添加了

原来是：

修改后

flume配置：

表示按逗号做分隔符的第四个（从0开始）字段是一个秒单位的时间戳。

在flume里面，时间戳是毫秒级别的，所以要判断这个字段是秒还是毫秒纳秒

见http://lisux.me/lishuai/?p=867

flume拦截器

标签：.so   seda   index   配置   utils   header   equal   sources   div   

原文地址：http://www.cnblogs.com/doosmile/p/6284024.html