问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d ...
分类：
其他好文 时间：
2019-06-12 19:52:22
阅读次数：
88
1.kafka日志结构 直接举例子： 例如kafka有个名字叫 haha 的topic，那么kafka日志下面有kafka-0,kafka-1,kafka-2...,kafka-n，具体多少个，创建分区的时候有几个分区，n就是几。 每个目录下面有三个日志文件，xxx.log是消息集文件， xxx.i ...
分类：
其他好文 时间：
2018-10-31 21:42:05
阅读次数：
149
一.Kafka日志报错：[error] k.m.j.KafkaJMX$ - Failed to connect to service:jmx:rmi:///jndi/rmi://10.1.3.116:-1/jmxrmi java.lang.IllegalArgumentException: requ ...
分类：
编程语言 时间：
2018-10-15 18:15:24
阅读次数：
1592
一、项目背景1.1项目痛点在目前小程序为主的大背景下，有客户大部分业务在腾讯云，使用的大部分为容器服务，在大规模的使用容器下，需要对容器内业务的日志采集及分析，在腾讯云对应容器服务的日志提供了两种消费方式：Kafka、日志服务CLS。但是对应业务线众多，在腾讯云容器服务只能指定十条日志收集规则，完全满足不了大规模日志收集场景，客户已经指定分业务两种消费方式均使用了起来，Kafka&日志服务
分类：
其他好文 时间：
2018-08-26 01:22:06
阅读次数：
847
kafka消息是通过主题来进行组织和区分的，每个主题有分为零个或多个分区，分区数量可以在创建时指定也可以后期修改，不过修改只能增加不能删除，每个分区又有一个或多个副本，副本中会有一个副本被选做Leader副本，该副本对外提供读写操作，其他副本则是Follower。生产者发送消息到Leader副本的代理节点上，Follower副本从Leader同步数据。分区的每个副本对应到一个Log对象，每个Log
分类：
其他好文 时间：
2018-07-15 21:19:59
阅读次数：
345
kafka启动后，会产生会多日志，经常会将磁盘撑爆。所以kafka日志清理很有必要log4j.properties该文件为kafka日志管理的配置文件，位于$KAFKA_HOME/config/log4j.properties默认该配置文件中日志存放路径为$KAFKA_HOME/logs，可以修改为其他容量较大的数据盘，比如我自己设置为/data/kafka/logs注意：如果只是改了这个配置，是
分类：
其他好文 时间：
2017-12-25 13:36:39
阅读次数：
170
关于Kafka日志留存(log retention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka 1.0.0作为分析对象。 所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下 ...
分类：
其他好文 时间：
2017-12-15 14:05:58
阅读次数：
163
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作 ...
分类：
其他好文 时间：
2017-11-13 13:35:30
阅读次数：
124
Kafka 是对日志文件进行 append 操作，因此磁盘检索的开支是较小的；同时 为了减少磁盘写入的次数，broker 会将消息暂时 buffer 起来，当消息的个数（或大小）达到一定阀值时，再 flush 到磁盘，这样减少了磁盘 IO 调用的次数。 需要考虑的影响性能点很多多，除磁盘 IO 之外 ...
分类：
其他好文 时间：
2017-07-26 18:12:16
阅读次数：
147
引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看 ...
分类：
其他好文 时间：
2017-07-16 10:03:23
阅读次数：
139
