kafka文件系统设计那些事，从架构层面，实现机制角度阐述kafka文件系统高效性能。
一个大文件分成多个小文件段。
多个小文件段，容易定时清除或删除已经消费完文件，减少磁盘占用。
index全部映射到memory直接操作，避免segment file被交换到磁盘增加IO操作次数。
根据索引信息，可以确定发送response到consumer的最大大小。
索引文件元数据存储用的是相对前一个segment file的offset存储，节省空间大小。...
分类：
其他好文 时间：
2014-10-28 20:08:50
阅读次数：
368
