码迷,mamicode.com
首页 > 其他好文 > 详细

kafka--知识点

时间:2020-02-21 14:48:16      阅读:76      评论:0      收藏:0      [点我收藏+]

标签:策略   top   内存   节点   通过   不能   队列   关系   读写   

 

kafka   分布式,基于zookeeper协调的分布式消息系统,支持分区(partition)多副本(replica)

每秒10万的吞吐量,零拷贝,不经过内存

端口默认9092

技术图片

 

 技术图片

1、消费者 producer

自己决定向哪个partition生产消息,两种机制:hash,轮询

 

2、partiton    分区

一个topic分成多个partition

每个partition内部消息强有序,其中每个消息都有一个序号叫offset

一个partition 只对应一个broker,一个broker可以管多个partition

消息直接写入文件,并不是存储在内容中

根据时间策略(默认一周)删除,而不是消费完就删除

consumer一次只能从一个分区  partition读消息

每个partition中的消息是强有序的

但是多个consumer 并发从partiton读消息不是整体消息有序的

partition 可已有副本

 

 

 

3、消费者   consumer

consumer自己维护消费到那个offset

每个consumer都有对应的group

同一个组内的consumer只能消费不同的partition,不能共同消费一个partition(除非这个consumer掉了),但是不同组内可以,一个消息在group内只能消费一次

 

技术图片

 

 

4、topic

一类消息总成(一个消息队列)

 

5、broker   kafka集群节点,没有主从关系,通过zookeeper管理,broker负责消息的读写和存储

一个broker可以管理多个partition

 

创建消息

kafka-topics.sh --zookeeper node3:2181,node4,node5 --create --topic t001 --partitions 3 --replication-factor 3

 

kafka--知识点

标签:策略   top   内存   节点   通过   不能   队列   关系   读写   

原文地址:https://www.cnblogs.com/jentary/p/12341030.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!