kafka(1)

标签：文件   sum   magic   范围   length   try   set   索引   kafka   

1、概念

broker:分布式中的每台服务器即broker。

topic:每个消息类别放在一个topic。

partition:每个topic包含一个或多个partition。

producer:生产者

consumer:消费者

consumer group 

2、存储格式

每个topic逻辑上就是一个queue，每个partition物理上对应一个文件夹。

每个日志文件都是一个log entrie序列，

message length ： 4 bytes (value: 1+4+n)
"magic" value ： 1 byte 
crc校验码 ： 4 bytes 
payload （partition偏移量）： 64 bytes

这个log entrie并非一个文件，而是由多个segment，每个segmen以t第一条消息的offset命名并以“.kafka”为后缀，另外会有一个索引文件，它标明了每个segment下包含的log entry的offset范围。

kafka(1)

标签：文件   sum   magic   范围   length   try   set   索引   kafka   

原文地址：http://www.cnblogs.com/ng1991/p/7762825.html