kafka消息是通过主题来进行组织和区分的，每个主题有分为零个或多个分区，分区数量可以在创建时指定也可以后期修改，不过修改只能增加不能删除，每个分区又有一个或多个副本，副本中会有一个副本被选做Leader副本，该副本对外提供读写操作，其他副本则是Follower。生产者发送消息到Leader副本的代理节点上，Follower副本从Leader同步数据。分区的每个副本对应到一个Log对象，每个Log
分类：
其他好文 时间：
2018-07-15 21:19:59
阅读次数：
345
kafka启动后，会产生会多日志，经常会将磁盘撑爆。所以kafka日志清理很有必要log4j.properties该文件为kafka日志管理的配置文件，位于$KAFKA_HOME/config/log4j.properties默认该配置文件中日志存放路径为$KAFKA_HOME/logs，可以修改为其他容量较大的数据盘，比如我自己设置为/data/kafka/logs注意：如果只是改了这个配置，是
分类：
其他好文 时间：
2017-12-25 13:36:39
阅读次数：
170
1、简介对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。ELK日志系统在系统中，主要可解决的问题：基于日志的数据挖掘问题排查，上线检查根据关键字查询日志详情异常数据自动触发消息通知服务器监控，应用监控，Bug管理统计分..
分类：
其他好文 时间：
2016-09-21 00:14:48
阅读次数：
277
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志及系统日志统一收集....
分类：
其他好文 时间：
2015-06-19 23:02:42
阅读次数：
356
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
