Kafka的配置详劲复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化java相关系统自然离不开JVM的优化。首先想到的肯定是HeapSize的调整。vimbin/kafka-server-start.sh
调整KAFKA_HE..
分类：
其他好文 时间：
2017-06-12 22:27:10
阅读次数：
245
Kafka-manager部署一、概念概念百度了一下，可以根据相关资料进行理解。1.1Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。BrokerKafka集群包含一个或多个服务器，这种服务器被称为broker。Topic每条发布到Kafka集群的消息都有..
分类：
其他好文 时间：
2017-06-12 22:22:04
阅读次数：
2539
本文主要参考社区0.11版本Controller的重设计方案，试图给大家梳理一下Kafka controller这个组件在设计上的一些重要思考。众所周知，Kafka中有个关键组件叫controller，负责管理和协调Kafka集群。网上关于controller的源码分析也有很多，本文就不再大段地列出 ...
分类：
其他好文 时间：
2017-06-10 22:42:54
阅读次数：
281
虚拟机三台 192.168.1.133;192.168.1.134;192.168.1.135 启动顺序首先启动Zookeeper集群,再启动Kafka集群 一、Zookeeper: 1、找到解压目录下的conf文件夹,在该文件夹下新建zoo.cfg文件,并且将一下配置写入(三台Zookeeper配 ...
分类：
其他好文 时间：
2017-06-10 16:56:10
阅读次数：
226
storm是一条一条数据处理，spark是一批数据处理的，storm才是真正意义的实时数据处理。 1、fileBeat类似flume用来采集日志的，fileBeat是轻量级的，对性能消化不大，而flume比较消化性能。 2、fileBeat会实时监控前端机，然后把数据实时写到Kafka集群里面。 3 ...
分类：
其他好文 时间：
2017-06-09 11:07:26
阅读次数：
260
在使用kafka 和zookeeper 实现实时分析程序时，由于zookeeper部署版本和分析程序导入jar包的版本不一致，导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错，错误信息如下： [html] view plain copy 2012-12-31 10:51: ...
分类：
其他好文 时间：
2017-06-07 14:26:23
阅读次数：
507
一、前言早上醒来打开微信，同事反馈kafka集群从昨天凌晨开始写入频繁失败，赶紧打开电脑查看了kafka集群的机器监控，日志信息，发现其中一个节点的集群负载从昨天凌晨突然掉下来了，和同事反馈的时间点大概一致，于是乎就登录服务器开始干活。二、排错1、查看机器监控，看是否..
分类：
其他好文 时间：
2017-06-03 19:21:04
阅读次数：
464
往kafka集群发送消息时，报错如下： page_visits-1: 30005 ms has passed since batch creation plus linger time 加入log4j.properties，设置为DEBUG级别，错误如下： 2017-06-03 17:33:31,4... ...
分类：
编程语言 时间：
2017-06-03 19:14:00
阅读次数：
912
今天带来一篇译文“调优Apache Kafka集群”，里面有一些观点并无太多新颖之处，但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置，值得大家一读~ 原文地址请参考：https://www.confluent.io/blog/optimizing-apache-kafka-dep ...
分类：
Web程序 时间：
2017-06-03 12:37:19
阅读次数：
231
功能 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配... ...
分类：
其他好文 时间：
2017-06-02 22:58:43
阅读次数：
252
