kafka.cluster包定义了Kafka的基本逻辑概念：broker、cluster、partition和replica——这些是最基本的概念。只有弄懂了这些概念，你才真正地使用kakfa来帮助完成你的需求。因为scala文件不多，还是老规矩，我们一个一个分析。一、Broker.scalabro...
分类：
其他好文 时间：
2015-04-29 11:27:15
阅读次数：
168
结构：nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。)现象：在第二层，写入kafka的topic和读取的kafka的topic相同，手动设定的sinktopic不生效打开debug日志：source实例化:21Apr201519:24:03,146INFO[conf-file-poll..
分类：
Web程序 时间：
2015-04-26 01:47:52
阅读次数：
765
kafka设计原理介绍背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafk....
分类：
其他好文 时间：
2015-04-25 22:44:13
阅读次数：
320
概览 最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写w...
分类：
Web程序 时间：
2015-04-24 19:38:34
阅读次数：
294
背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消....
分类：
其他好文 时间：
2015-04-24 01:00:00
阅读次数：
219
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin...
分类：
其他好文 时间：
2015-04-20 00:06:57
阅读次数：
151
Kafka日志包是提供的是日志管理系统。主要的类是LogManager——该类负责处理所有的日志，并根据topic/partition分发日志。它还负责flush策略以及日志保存策略。Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了...
分类：
其他好文 时间：
2015-04-19 10:06:28
阅读次数：
2628
