1、在使用Java API访问之前先在安装有kafka的各个节点启动服务
bin/kafka-server-start.sh config/server.properties &
2、报如下错误
props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092");
props.put("serializer.cl...
分类：
其他好文 时间：
2015-02-07 18:56:33
阅读次数：
174
kafka是用scala编写，用zookeeper做协调。scala的代码没学习过，这边主要看别人写的文档和自己的工作实践来的。笔记可能会写多篇，因为这东西要经常看啊，不看过了多久就忘了。
东西看完了就要问问自己3W1H
What：kafka是一个分布式（多broker，zookeeper）的，分区的（partition），消息复制的（replicate）的消息中间件（log service）...
分类：
其他好文 时间：
2015-02-05 18:32:14
阅读次数：
211
KAFKA学习总结 一、?简介 KAFKA是Apache基金会的一个开源项目,是一个分布式的发布-订阅的消息系统; KAFKA用途广泛,可以用作消息队列,也可以用作日志系统,还有其他一些应用,在此不作详细介绍; 二、?组成 按照不同...
分类：
其他好文 时间：
2015-02-03 11:24:22
阅读次数：
257
场景：使用Spark Streaming接收Kafka发送过来的数据与关系型数据库中的表进行相关的查询操作；Kafka发送过来的数据格式为：id、name、cityId，分隔符为tab1 zhangsan 12 lisi 13 wangwu ...
分类：
数据库 时间：
2015-02-02 10:48:27
阅读次数：
169
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议： 最好的方法是不...
分类：
其他好文 时间：
2015-02-01 00:38:26
阅读次数：
17815
Storm-Kafka模块之写入kafka-KafkaBolt的使用及实现...
分类：
其他好文 时间：
2015-01-26 12:02:24
阅读次数：
908
单节点安装:
Ip:single:192.168.1.186
1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包
2.解压
[root@single cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/
3.进入解压目录
[root@sing...
分类：
其他好文 时间：
2015-01-25 15:18:05
阅读次数：
260
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类：
Web程序 时间：
2015-01-22 12:47:14
阅读次数：
496
Storm-Kafka模块常用接口分析及使用方式,给出具体使用案例...
分类：
其他好文 时间：
2015-01-22 11:08:23
阅读次数：
183
