码迷,mamicode.com
首页 > 其他好文 > 详细

Kafka体系架构

时间:2017-07-11 13:24:41      阅读:89      评论:0      收藏:0      [点我收藏+]

标签:div   art   log   索引   offset   ima   blog   字符   命令   

技术分享

 

Segment文件由两部分组成,分别为“.index”文件和“.log”文件,分别表示为segment索引文件和数据文件。这两个文件的命令规则为:partition全局的第一个segment从0开始,后续每个segment文件名为上一个segment文件最后一条消息的offset值,数值大小为64位,20位数字字符长度,没有数字用0填充
 
? 展示出segment:00000000000000170410的“.index”文件和“.log”文件的对应的关系
 
? 如右图,“.index”索引文件存储大量的元数据,“.log”数据文件存储大量的消息,索引文件中的元数据指向对应数据文件中message的物理偏移地址。其中以“.index”索引文件中的元数据[3, 348]为例,在“.log”数据文件表示第3个消息,即在全局partition中表示170410+3=170413个消息,该消息的物理偏移地址为348。
技术分享

 

Kafka体系架构

标签:div   art   log   索引   offset   ima   blog   字符   命令   

原文地址:http://www.cnblogs.com/carleunderwood/p/7149969.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!