Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。
Apache Kafka与传统消息系统相比,有以下不同:
它被设计为一个分布式系统,易于向外扩展;
它同时为发布和订阅提供高吞吐量;
它支持多订阅者,当失败时能自动平衡消费者;
...
分类:
其他好文 时间:
2014-08-11 15:08:32
阅读次数:
389
分布式的基础:一致性哈希 路由算法的一致性hash http://www.jiacheo.org/blog/174 http://www.tuicool.com/articles/vQVbmai http://www.cnblogs.com/huangxincheng/p/3708316.html ...
分类:
数据库 时间:
2014-07-07 11:31:00
阅读次数:
349
Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。当前很多的消息队列服务提供可靠交付保证,并默认是即时消费(不适...
分类:
其他好文 时间:
2014-06-21 06:22:00
阅读次数:
273
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩...
分类:
其他好文 时间:
2014-06-17 20:04:58
阅读次数:
201
分布式消息系统Jafka入门指南之二作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs三、Jafka的目录结构1、安装tree命令$ sudo yum install tree2、查看目录$ tree -L 1
.
?..?? bin
?..?? conf
?..?? data
?..?? lib
?..?? LICENSE
?..?? logs
?..?...
分类:
其他好文 时间:
2014-04-29 13:38:21
阅读次数:
448
分布式消息系统Jafka入门指南作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs一、JafkaMQ简介JafkaMQ是一个分布式的发布/订阅消息系统,它是Apache Kafka的Java移植版。2013年11月28日,JafkaMQ发布了1.2.3版。JafkaMQ的特征如下:1)消息持久化到磁盘的算法时间复杂度为O(1),即使是TB级的消息存储,也能...
分类:
其他好文 时间:
2014-04-29 13:32:22
阅读次数:
278