码迷,mamicode.com
首页 > 其他好文 > 详细

kafka介绍

时间:2019-04-27 14:38:57      阅读:143      评论:0      收藏:0      [点我收藏+]

标签:cer   节点   防止   容错性   style   收集   消费   高并发   分布   

kakfa:

1.简介

1.定义:
kafka是一个分布式、支持分区(paritition)、多副本的,基于zookeeper协调的分布式消息系统

2.能做什么
可以实时的处理大量数据,满足各种场景需求。hadoop批处理,spark/storm流式处理等

3.kafka的特性:
3.1 高吞吐、低延迟
    kafka每秒可以处理几十万的消息,延迟最低只有几毫秒
    每个topic可以分多个partition,consumer group对partition进行consume操作
3.2 可扩展性
    kafka集群支持热扩展
3.3 持久性、可靠性
    消息被持久化到本地磁盘,并且支持数据备份防止数据丢失
3.4 容错性
    允许集群中节点失败(如果副本数n,允许n-1个节点失败)
3.5 高并发
    支持数千个客户端同时读写

4.使用场景
4.1 日志收集
4.2 消息系统
4.3 流式处理    

5.流程
producers 往brokers里面的指定topic写消息
consumer  从brokers里面拉取指定topic的消息进行业务处理

2.生产

 

 

3.消费

 

 

 

kafka介绍

标签:cer   节点   防止   容错性   style   收集   消费   高并发   分布   

原文地址:https://www.cnblogs.com/yin-fei/p/10778682.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!