上一篇文章分析了Flume如何加载配置文件的，动态加载也只是重复运行getConfiguration()。
本篇分析加载配置文件后各个组件是如何运行的？ 加载完配置文件订阅者Application类会收到订阅信息执行： @Subscribe public
synchronized voi...
分类：
其他好文 时间：
2014-07-22 23:16:35
阅读次数：
527
在已经成功安装Flume的基础上，本文将总结使用Flume进行数据的实时收集处理，具体步骤如下：
第一步，在$FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，具体内容如下：
#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1...
分类：
其他好文 时间：
2014-05-25 00:49:58
阅读次数：
383
FileChannel是flume一个非常重要的channel组件，非常常用。这个channel非常复杂，涉及的文件更多涉及三个包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密)、org.apa.....
分类：
其他好文 时间：
2014-05-19 13:02:06
阅读次数：
285
错误日志:log_error,log_warnings 服务器启动和关闭过程中的信息
服务器运行过程中的错误信息 事件调度运行一个事件时产生的信息
在从服务器上启动从服务器进程时产生的信息一般查询日志：general_log，general_log_file，log，log_output={...
分类：
数据库 时间：
2014-05-17 14:53:01
阅读次数：
347
简介通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候，也就是出现问题的时候，这个渐进的过程就开始了。日志管理一般会经历一下3个阶段：初级管理员将通过一些传统工具（如cat、tail、sed、awk、perl以及grep）对日志进行检查，但它的适用范围仅限于少量的主机和日志文件类型；考虑到现实中...
分类：
其他好文 时间：
2014-05-09 08:18:10
阅读次数：
651
HDFSEventSink是flume中一个很重要的sink，配置文件中type=hdfs。与此sink相关的类都在org.apache.flume.sink.hdfs包中。
HDFSEventSink算是一个比较复杂的sink，包下涉及的源代码文件数多达13个。。。可配置的参数众多。。。希望...
分类：
其他好文 时间：
2014-05-07 02:06:05
阅读次数：
563
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。
每个sink包括自己定制的，都extends AbstractSink implements Configurable。
一、首先是configure(Context context)方法。该...
分类：
其他好文 时间：
2014-05-05 10:55:40
阅读次数：
462
Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。kibana也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面..
分类：
其他好文 时间：
2014-05-04 17:21:14
阅读次数：
416
