kafka基础功能介绍

时间：2019-08-14 14:18:36 阅读：80 评论：0 收藏：0 [点我收藏+]

4）设置脚本开机自动执行

···

vi /etc/rc.d/rc.local #编辑，在最后添加一行

sh /usr/local/kafka/kafkastart.sh & ＃设置开机自动在后台运行脚本

···

2018-11-26

物理概念：物理层面的隔离，如数据库，服务器设备等
逻辑概念：代码/策略逻辑层面的概念
Producer:消息和数据的生产者，向kafka的一个topic发布消息的进程/代码/服务
Consumer:消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务
Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息
broker:物理概念，kafka集群中的每个kafka节点
topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离
partition:物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个partition，每个partition是有序的
Replication：同一个Partition可能会有多个Replica，多个Replica之间的数据是一样的（相当于一个partition有多个副本）
Replication Leader：一个Partition的多个Replica上，需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个，其他的负责同步数据，当好备胎)
ReplicaManager：负责管理当前broker所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等

Partition

1.每一个Topic被切分为多个Partitions

partition属于消息存储的基本单位。topic就像分类，一个分类下有多个单位（partition）。

2.消费者数据少于或等于Partition的数目

3.Broker Group 中的每一个Broker保存Topic的一个或多个Partitions

//broker 是kafaka的一个存储节点。多个节点组成一个Broker Group

4.Consumer Group中的仅有一个Consumer读取Topic的一个或者多个parttition，并且是唯一的Consumer。以组的方式进行topic调度

时间复杂度 :是随着操作几次变化而变化的

空间复杂度: 是根据实际数据行而计算的

rw random write 随机读写

sw sequenue write 顺序读写

kafka 发送消息分区存储方式

有key hash

没key 轮询

原文地址：https://www.cnblogs.com/zzok/p/11351536.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行