码迷,mamicode.com
首页 > 其他好文 > 详细

Kafka-文件管理

时间:2020-06-24 00:44:34      阅读:76      评论:0      收藏:0      [点我收藏+]

标签:htm   logs   分时   出错   情况   默认   style   存在   根据   

Kafka-文件管理

文件管理

保留数据是kafka的一个基本特性,kafaka不会一直保留数据,也不会等到所有消费者都读取了消息之后才删除消息。相反,kafka为每个主题配置了数据保留期限,规定数据被删除之前可以保留多长时间,或者清理数据之前可以保留的数据量大小。

因为在一个大文件里查找和删除消息时很费时的,也很容易出错,所以我们把分区分成若干个片段。默认情况下,每个片段包含1GBlog.segment.bytes)或一周(log.segment.ms)的数据,以较小的那个为准。在broker往分区写入数据时,如果达到片段上限,就关闭当前文件,并打开一个新文件。

当前正在写入数据的片段叫做活跃片段。活动片段永远不会被删除,所以如果要保留数据1天(log.retention.ms),但是片段里包含了5天的数据,那么这些数据会被保留5天,因为在片段被关闭之前,这些数据是无法被删除的。如果要保留数据一周log.retention.ms设置为7,并且每天使用一个新片段log.segment.ms设置为1,那么就会看到,每天在使用一个新片段的同时会删除一个最老的片段--所以大部分时间该分区会有7个片段存在。

broker会为分区里的每个片段打开一个文件句柄,哪怕片段是不活跃的。这样会导致打开过多的文件句柄,所以操作系统必须根据实际情况做一些调优。

上述相关配置详情:broker常用配置详解

Kafka-文件管理

标签:htm   logs   分时   出错   情况   默认   style   存在   根据   

原文地址:https://www.cnblogs.com/EnzoDin/p/13185027.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!