上一篇文章分析了Flume如何加载配置文件的，动态加载也只是重复运行getConfiguration()。
本篇分析加载配置文件后各个组件是如何运行的？ 加载完配置文件订阅者Application类会收到订阅信息执行： @Subscribe public
synchronized voi...
分类：
其他好文 时间：
2014-07-22 23:16:35
阅读次数：
527
一、对于服务器端的搭建可以参考上一篇文章：kafka单机版环境搭建与测试
服务器端IP ：10.0.30.221
运行环境的目录如下：
需要改动config文件夹下的server.properties中的以下两个属性
zookeeper.connect=localhost:2181改成zookeeper.connect=10.0.30.221:2181
以及默认注释掉的
#host...
HDFSEventSink是flume中一个很重要的sink，配置文件中type=hdfs。与此sink相关的类都在org.apache.flume.sink.hdfs包中。
HDFSEventSink算是一个比较复杂的sink，包下涉及的源代码文件数多达13个。。。可配置的参数众多。。。希望...
分类：
其他好文 时间：
2014-05-07 02:06:05
阅读次数：
563
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。
每个sink包括自己定制的，都extends AbstractSink implements Configurable。
一、首先是configure(Context context)方法。该...
分类：
其他好文 时间：
2014-05-05 10:55:40
阅读次数：
462
分布式消息系统Jafka入门指南之二作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszs三、Jafka的目录结构1、安装tree命令$ sudo yum install tree2、查看目录$ tree -L 1
.
?..?? bin
?..?? conf
?..?? data
?..?? lib
?..?? LICENSE
?..?? logs
?..?...
分类：
其他好文 时间：
2014-04-29 13:38:21
阅读次数：
448
分布式消息系统Jafka入门指南作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszs一、JafkaMQ简介JafkaMQ是一个分布式的发布/订阅消息系统，它是Apache Kafka的Java移植版。2013年11月28日，JafkaMQ发布了1.2.3版。JafkaMQ的特征如下：1）消息持久化到磁盘的算法时间复杂度为O(1)，即使是TB级的消息存储，也能...
分类：
其他好文 时间：
2014-04-29 13:32:22
阅读次数：
278
1、监控目标
当系统可能或处于亚健康状态时及时提醒，预防故障发生报警提示
2、监控内容
2.1 机器监控
Kafka服务器指标
CPU LoadDisk IOMemory
2.2 JVM监控
主要监控JAVA的 GC time(垃圾回收时间)，JAVA的垃圾回收机制对性能的影响比较明显
2.3 Kafka系统监控
1、Kafka总体监控
zookeeper上/kaf...
分类：
其他好文 时间：
2014-04-27 18:10:15
阅读次数：
582
