标签:cer 节点 防止 容错性 style 收集 消费 高并发 分布
1.定义: kafka是一个分布式、支持分区(paritition)、多副本的,基于zookeeper协调的分布式消息系统 2.能做什么 可以实时的处理大量数据,满足各种场景需求。hadoop批处理,spark/storm流式处理等 3.kafka的特性: 3.1 高吞吐、低延迟 kafka每秒可以处理几十万的消息,延迟最低只有几毫秒 每个topic可以分多个partition,consumer group对partition进行consume操作 3.2 可扩展性 kafka集群支持热扩展 3.3 持久性、可靠性 消息被持久化到本地磁盘,并且支持数据备份防止数据丢失 3.4 容错性 允许集群中节点失败(如果副本数n,允许n-1个节点失败) 3.5 高并发 支持数千个客户端同时读写 4.使用场景 4.1 日志收集 4.2 消息系统 4.3 流式处理 5.流程 producers 往brokers里面的指定topic写消息 consumer 从brokers里面拉取指定topic的消息进行业务处理
标签:cer 节点 防止 容错性 style 收集 消费 高并发 分布
原文地址:https://www.cnblogs.com/yin-fei/p/10778682.html