Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议： 最好的方法是不...
分类：
其他好文 时间：
2015-02-01 00:38:26
阅读次数：
17815
Storm-Kafka模块之写入kafka-KafkaBolt的使用及实现...
分类：
其他好文 时间：
2015-01-26 12:02:24
阅读次数：
908
单节点安装:
Ip:single:192.168.1.186
1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包
2.解压
[root@single cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/
3.进入解压目录
[root@sing...
分类：
其他好文 时间：
2015-01-25 15:18:05
阅读次数：
260
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类：
Web程序 时间：
2015-01-22 12:47:14
阅读次数：
496
Storm-Kafka模块常用接口分析及使用方式,给出具体使用案例...
分类：
其他好文 时间：
2015-01-22 11:08:23
阅读次数：
183
Kafka的Log存储解析
标签（空格分隔）： kafka
引言
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partit...
分类：
其他好文 时间：
2015-01-21 18:16:35
阅读次数：
189
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-01-20 15:39:15
阅读次数：
285
Kafka Producer相关代码分析
标签（空格分隔）： kafka
Kafka Producer将用户的消息发送到Kafka集群（准确讲是发送到Broker）。本文将分析Producer相关的代码实现。
类kafka.producer.Producer
如果你自己实现Kafka客户端来发送消息的话，你就是用到这个类提供的接口来发送消息。（如果你对如何利用Producer AP...
分类：
其他好文 时间：
2015-01-17 20:53:34
阅读次数：
233
Kafka的通讯协议
标签:kafka
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。
基本数据类型
定长数据类型：int8,int16,int32和int64，对...
分类：
其他好文 时间：
2015-01-15 20:23:45
阅读次数：
260
