功能 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配... ...
分类:
其他好文 时间:
2017-06-02 22:58:43
阅读次数:
252
近期在做kafka metrics. 参考了几个开源的项目,诸如kafka manager, Burrow, kafkaOffsetMonitor,东西都很不错,可惜没有一个是用java编写的,最终自己去仿照kafka源码写了个java版的adminclient,拿到了自己需要的metrics数据。 ...
分类:
其他好文 时间:
2016-12-24 01:21:14
阅读次数:
586
软件需求,软件包都上传到/usr/local/src目录:jdk-8u101-linux-x64.tar.gzkafka.2.11-0.8.22.tar.gzzookeeper-3.4.9.tar.gzkafka-manager-1.3.0.7.zip*kafka-manager是通过scala打包获取一个编译完的项目,需要提前编译好,参考https://github.com/yahoo/kafka-manager硬件需求..
分类:
其他好文 时间:
2016-11-15 20:35:35
阅读次数:
307
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka ...
分类:
其他好文 时间:
2016-07-15 20:37:08
阅读次数:
185
摘要
本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka Manager监控Kafka的工作状态,最后给出了Kafka的性能测试报告。
性能测试及集群监控工具
Kafka提供了非常多有用的工具,如Kafka设计解析(三)-
Kafka High Availability (下)中提到的运维类工具—...
分类:
其他好文 时间:
2016-05-12 13:12:57
阅读次数:
255
管理工具 Kafka Manager 一、概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这 ...
分类:
其他好文 时间:
2016-05-03 20:23:34
阅读次数:
352
一、概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中 ...
分类:
其他好文 时间:
2016-05-03 00:21:06
阅读次数:
344
本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能,以及如何使用Kafka ...
分类:
其他好文 时间:
2016-05-02 22:41:43
阅读次数:
289
参考site:https://github.com/yahoo/kafka-manager 一、功能管理多个kafka集群便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)选择你要运行的副本基于当前分区状况进行可以选择topic配置并创建topic(0.8.1....
分类:
其他好文 时间:
2016-01-13 10:39:57
阅读次数:
155
以读取kafka metrics为例。 实际使用中可将读取的metrics存入时序数据库中,然后从页面展示。kafka-manager等不支持历史的指标展示。 JMXClient.scala import?javax.management.remote.{JMXConnector,?JMXConn...
分类:
其他好文 时间:
2015-07-21 15:30:47
阅读次数:
124