在kafka中，我们能创建多种类型的集群，一般如下：单节点——单个broker集群单节点——多broker集群多结点——多broker集群kafka集群中主要有五个组件：Topic：主题主要用于用一个名字标识生产者往kafka发送了什么类型的消息，作为消息归类的标识唯一键。在kafka中，主题被分区...
分类：
其他好文 时间：
2015-10-28 19:11:12
阅读次数：
167
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-10-22 12:15:25
阅读次数：
163
kafka 集群--3个broker 3个zookeeper创建实战准备工作：1. 准备3台机器，IP地址分别为：192.168.0.10，192.168.0.11，192.168.0.122. 下载kafka稳定版本，我的版本为：kafka_2.9.2-0.8.1.1.tgz3. 分别解压放入到想...
分类：
其他好文 时间：
2015-10-21 12:15:22
阅读次数：
459
前言: 上周末自己学习了一下Kafka，参考网上的文章，学习过程中还是比较顺利的，遇到的一些问题最终也都解决了，现在将学习的过程记录与此，供以后自己查阅，如果能帮助到其他人，自然是更好的。======================================================.....
分类：
其他好文 时间：
2015-09-29 13:05:32
阅读次数：
279
基本操作 本节将列一下在Kafka集群上的最常用的操作。所有在本节被提到的工作都可以$KAFKA_HOME/bin目录下找到；并且每个工具都会较详细的打印命令的所有可能的选项。 添加和移除Topic 你可以手动创建一个Topic也...
分类：
其他好文 时间：
2015-09-26 16:02:25
阅读次数：
145
kafka 监控插件 1.KafkaOffsetMonitor 项目地址：https://github.com/quantifind/KafkaOffsetMonitor KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。 You can se...
分类：
其他好文 时间：
2015-09-23 17:26:45
阅读次数：
368
kafka分区及副本在broker的分配部分内容参考自：http://blog.csdn.net/lizhitao/article/details/41778193下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：
(1)
pic(2)当集群中新增2节点，Partition增加到6个时分布情...
分类：
其他好文 时间：
2015-08-11 18:56:59
阅读次数：
169
kafka集群搭建与api客户端创建，以前的消息队列（activeMQ）对于大数据吞吐率不行，但kafka很好的解决了此类问题，并且以集群的方式进行扩展，可谓相当强大...
三台机器：vm1、vm2、vm31、部署zookeeper集群假设已经有一个部署好了的zookeeper集群：zk1、zk2、zk32、下载、解压kafka1tar -xzvf kafka_2.10-0.8.2.1.tgz3、修改vm1上面的config/server.properties1234b...
分类：
其他好文 时间：
2015-06-08 12:58:45
阅读次数：
102
一个Topic的多个分区,被分布在kafka集群中的多个server上。每个分区都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader
跟进,同步消息即可。由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个part...
分类：
其他好文 时间：
2015-06-05 17:37:01
阅读次数：
100
