Kafka提供了两套API给Consumer
The high-level Consumer APIThe SimpleConsumer API
第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次在一个处理过程中只消费Partiti...
来自：http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类：
其他好文 时间：
2014-08-15 09:25:47
阅读次数：
455
Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类：
其他好文 时间：
2014-08-14 20:00:59
阅读次数：
283
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
这里我主要讲述我测试flume failover（容错）和load balance（负载均衡）的几个场景以及注意的点。...
分类：
其他好文 时间：
2014-08-14 16:48:08
阅读次数：
578
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
简介kafka网站上提供了C语言的客户端librdkafka，地址在这。librdkafka是使用C语言根据apache kafka 协议实现的客户端。另外这个客户端还有简单的c++接口。客户端作者对这个客户端比较上心，经常会修改bug并提交新功能。librdkafka的基本原理和我之前博客说的ja...
分类：
其他好文 时间：
2014-08-12 00:25:33
阅读次数：
766
Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特性。
Apache Kafka与传统消息系统相比，有以下不同：
它被设计为一个分布式系统，易于向外扩展；
它同时为发布和订阅提供高吞吐量；
它支持多订阅者，当失败时能自动平衡消费者；
...
分类：
其他好文 时间：
2014-08-11 15:08:32
阅读次数：
389
目录： 一、什么是kafka? 二、kafka的官方网站在哪里？ 三、在哪里下载？需要哪些组件的支持？ 四、如何安装？ 五、FAQ 六、扩展阅读 一、什么是kafka? kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kaf...
分类：
编程语言 时间：
2014-08-11 14:24:32
阅读次数：
496
目录： 一、什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二、flume的官方网站在哪里？ 三、在哪里下载？ 四、如何安装？ 五、flume的案例 1)案例1：Avro 2)...
分类：
其他好文 时间：
2014-08-10 21:12:21
阅读次数：
495
