一、入门 1.??? 简介 Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进...
分类：
其他好文 时间：
2014-08-18 14:40:12
阅读次数：
315
背景：
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：
如何收集这些巨大的信息如何分析它 如何及时做到如上两点
以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两...
分类：
其他好文 时间：
2014-08-18 12:38:34
阅读次数：
191
Kafka提供了两套API给Consumer
The high-level Consumer APIThe SimpleConsumer API
第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次在一个处理过程中只消费Partiti...
来自：http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类：
其他好文 时间：
2014-08-15 09:25:47
阅读次数：
455
Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类：
其他好文 时间：
2014-08-14 20:00:59
阅读次数：
283
简介kafka网站上提供了C语言的客户端librdkafka，地址在这。librdkafka是使用C语言根据apache kafka 协议实现的客户端。另外这个客户端还有简单的c++接口。客户端作者对这个客户端比较上心，经常会修改bug并提交新功能。librdkafka的基本原理和我之前博客说的ja...
分类：
其他好文 时间：
2014-08-12 00:25:33
阅读次数：
766
Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性，可复制和可容错都是其不错的特性。
Apache Kafka与传统消息系统相比，有以下不同：
它被设计为一个分布式系统，易于向外扩展；
它同时为发布和订阅提供高吞吐量；
它支持多订阅者，当失败时能自动平衡消费者；
...
分类：
其他好文 时间：
2014-08-11 15:08:32
阅读次数：
389
目录： 一、什么是kafka? 二、kafka的官方网站在哪里？ 三、在哪里下载？需要哪些组件的支持？ 四、如何安装？ 五、FAQ 六、扩展阅读 一、什么是kafka? kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kaf...
分类：
编程语言 时间：
2014-08-11 14:24:32
阅读次数：
496
原文地址：http://blog.csdn.net/honglei915/article/details/37760631消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包括了一个版本和CRC32校验码。 /** * 具有N个字节的消息的格式例如以下 * * 假设版本是0 ...
分类：
其他好文 时间：
2014-08-09 15:45:28
阅读次数：
339
