码迷,mamicode.com
首页 > 其他好文 > 详细

kafka分区原理图

时间:2015-06-05 17:37:01      阅读:100      评论:0      收藏:0      [点我收藏+]

标签:

一个Topic的多个分区,被分布在kafka集群中的多个server上。每个分区都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader 跟进,同步消息即可。由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个partitions就意味着有多 少个"leader",kafka会将"leader"均衡的分散在每个实例上,来确保整体的性能稳定。

具体流程:
1. Producer根据指定的partition方法,将消息发布到指定topic的partition里面
2. kafka集群接收到Producer发过来的消息后,将其持久化到硬盘

3.Consumer从kafka集群pull数据,并控制获取消息的offset

技术分享

kafka分区原理图

标签:

原文地址:http://blog.csdn.net/liuwei063608/article/details/46378863

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!