写在前面一：
本文总结“Hadoop生态系统”中的其中一员——Apache Flume
写在前面二：
所用软件说明：
一、什么是Apache Flume
官网：Flume is a distributed, reliable, and available
service for efficiently
collecting, aggregating, and m...
分类：
其他好文 时间：
2014-05-26 04:32:10
阅读次数：
359
在已经成功安装Flume的基础上，本文将总结使用Flume进行数据的实时收集处理，具体步骤如下：
第一步，在$FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，具体内容如下：
#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1...
分类：
其他好文 时间：
2014-05-25 00:49:58
阅读次数：
383
zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考:http://blog.csdn.net/ubuntu64fan/article/details/26678877首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker...
分类：
其他好文 时间：
2014-05-24 20:48:48
阅读次数：
269
1. kafka是一个分布式的消息发布-订阅队列。2. 其中有一些主要的概念： Topic:
就是对放入队列的消息进行分类，分类消息分开储存，比如现在有订单消息和用户投诉消息，则分成订单topic和投诉topic Message：
放入消息队列的一条一条的消息。 Producer： 消息的生...
分类：
其他好文 时间：
2014-05-24 11:45:13
阅读次数：
236
传统的消息模型有两种模型，队列模型和发布-订阅模式。
1. 队列形式中，一群消费者可能从server那边读消息，而每条消息会流向他们中的一个。
2. 发布-订阅模式中，消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念（下面把它翻译为"消费组"），把两者结合了。。
消费者给自己标志了一个消费组名，每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例，这些消费者实例可以是不同的进程，存在在不同的机器上。
如果所有的消费者在同一个消费组里，那么这相当于是...
分类：
其他好文 时间：
2014-05-21 16:12:44
阅读次数：
279
这个类实现了一些工具性质的方法，正如其名。记下自己觉得有意思的方法：readFileAsString(path: String, charset:
Charset = Charset.defaultCharset()): String /** * Attempt to read a file ...
分类：
其他好文 时间：
2014-05-20 08:01:50
阅读次数：
223
这算是CountDownLatch的一个典型使用场景。kafka.Kafka对象的main方法中与此有关的代码为 // attach shutdown
handler to catch control-c Runtime.getRuntime().addShutdownHook(...
分类：
其他好文 时间：
2014-05-19 16:47:11
阅读次数：
241
FileChannel是flume一个非常重要的channel组件，非常常用。这个channel非常复杂，涉及的文件更多涉及三个包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密)、org.apa.....
分类：
其他好文 时间：
2014-05-19 13:02:06
阅读次数：
285
介绍概述预备知识 网络分区和引导分区策略批量处理版本控制和兼容性协议 Protocol
Primitive TypesNotes on reading the request format grammarsCommon Request and
Response Structure RequestsR...
分类：
其他好文 时间：
2014-05-18 20:14:24
阅读次数：
711
1
org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案：确保slf4j-api-1.5.6.jar
和slf4j-log4j12-1.5.6.jar 版本一致如果发布，pom中其他依赖的jar包排除上面两个2 本地调试不行，在LocalCluster
cl...
分类：
其他好文 时间：
2014-05-16 06:55:48
阅读次数：
251
