搭建要求：
1.CDH环境已经搭建成功，在CDH上搭建kafka，要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper
2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中
搭建步骤
1. 主机操作
修改hosts
10.10.0.11 s1-1
10.10.0.12 s1-2
10.10.0.13 s1-3
10.1...
分类：
其他好文 时间：
2015-06-03 23:30:26
阅读次数：
877
下载kafka正式版
http://kafka.apache.org/downloads.html
在Linux下解压tar包
tar -xzfkafka_2.9.2-0.8.1.1.tgz
修改server.properties
进入kafka根目录config/server.properties
主要修改的有3个参数如下：...
分类：
其他好文 时间：
2015-05-25 18:51:27
阅读次数：
248
kafka集群部署多机多broker模式环境IP:172.16.1.35zookeeperkafka172.16.1.36zookeeperkafka172.16.1.37zookeeperkafka开放端口2181288838889092编辑server.properties文件(以下为172.16.1.35的配置)#在默认的配置上，我只修改了4个地方。broker.id=三个主机172.16.1.35,172.16..
分类：
其他好文 时间：
2015-05-14 14:29:56
阅读次数：
261
Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务。如果当前的controller失败了，会从剩下的broker中选出新的controller。一、PartitionLeaderSelector.scala顾名思义就是为分区选...
分类：
其他好文 时间：
2015-05-13 18:42:48
阅读次数：
223
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50
MB），每秒处理55万消息（110...
分类：
其他好文 时间：
2015-03-11 19:45:02
阅读次数：
299
来自：http://doc.okbase.net/QING____/archive/19447.html也可参考:http://blog.csdn.net/21aspnet/article/details/19325373http://blog.csdn.net/unix21/article/det...
分类：
编程语言 时间：
2015-03-05 09:13:29
阅读次数：
286
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类：
Web程序 时间：
2015-01-22 12:47:14
阅读次数：
496
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-01-20 15:39:15
阅读次数：
285
Kafka Producer相关代码分析
标签（空格分隔）： kafka
Kafka Producer将用户的消息发送到Kafka集群（准确讲是发送到Broker）。本文将分析Producer相关的代码实现。
类kafka.producer.Producer
如果你自己实现Kafka客户端来发送消息的话，你就是用到这个类提供的接口来发送消息。（如果你对如何利用Producer AP...
分类：
其他好文 时间：
2015-01-17 20:53:34
阅读次数：
233
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2014-09-29 11:14:57
阅读次数：
283
