标签：oop 集群管理 sum sage producer 发送 服务器 bsp 作用
Kafka是一个分布式的发布／订阅消息系统。
1、producer和consumer是kafka的概念，发送消息到“topic”的就是“producer”；订阅“topic”和处理“feeds of message” 的就叫“consumer”；
2、broker是kafka集群上的服务器，每一个kafka服务器就叫做一个broker；
3、kafka的消费者组（consumer group）是介于消息系统的“queueing”与"publish-subscribe"之间的一种方式。topic的信息会被传递到订阅了该topic的consumer group中的一个consumer instance中，一个topic里面可分多个partition来写数据；
4、partition中的offset是partition中的信息的唯一标识，由consumer来维护，consumer可以按顺序维护一个不断增加的offset，也可以从任意一个旧offset开始重新读数据；
5、zookeeper是集群管理器，不管是kafka集群还是hadoop集群都可以用zookeeper管理。它的主要作用是保证分布式系统的数据一致性；这个过程由client发出请求，servers通过投票的方式更新系统状态，以维持对外展示一致的视图；
标签：oop 集群管理 sum sage producer 发送 服务器 bsp 作用
原文地址：http://www.cnblogs.com/zichun-zeng/p/5364021.html
