spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ...
分类：
其他好文 时间：
2014-09-10 17:29:50
阅读次数：
219
使用版本：kafka_2.10-0.8.1.1安装：tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/添加环境变量：.bash_profileexport KAFKA_HOME=/home/spark/app/kafka_2.10-0.8.1.1export PAT...
分类：
其他好文 时间：
2014-09-10 17:18:30
阅读次数：
231
阅读前提： ????????1 ： 您可能需要对 ?logback 日志系统有所了解 ???? ? ?2 ：您可能需要对于?kafka 有初步的了解 ???? ? ?3：请代码查看之前，请您仔细参考系统的业务图解 ? ? ? ? ...
分类：
其他好文 时间：
2014-09-10 16:01:21
阅读次数：
258
一、什么是kafka?kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（11..
分类：
其他好文 时间：
2014-09-10 02:50:40
阅读次数：
342
最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下:1. 修改log4j.properties, 这个大家都应该会改, ...
分类：
其他好文 时间：
2014-09-04 23:31:00
阅读次数：
607
http://kafka.apache.org/08/configuration.html Broker Configs 4个必填参数， broker.id Each broker is uniquely identified by a non-negative integer id broker唯...
分类：
其他好文 时间：
2014-09-04 18:33:49
阅读次数：
174
0.8的官方文档提供了一个删除topic的命令：kafka-topics.sh--delete但是在运行时会报错找不到这个方法。kafka-topics.sh最终是运行了kafka.admin.TopicCommand这个类，在0.8的源码中这个类中没有找到有deletetopic相关的代码。在kafka的admin包下，提供了一个DeleteTopicComman..
分类：
其他好文 时间：
2014-09-03 02:42:26
阅读次数：
1415
关于流处理框架，在先前的文章汇总已经介绍过Strom，今天学习的是来自阿里的的流处理框架JStorm。简单的概述Storm就是：JStorm 比Storm更稳定，更强大，更快，Storm上跑的程序，一行代码不变可以运行在JStorm上。...
分类：
Web程序 时间：
2014-08-31 00:34:50
阅读次数：
333
安装Kafka集群
假设我们有集群中，需要配置4个broker，形成下面图表的Kafka集群。
2.1 配置文件
配置所有的Kafka的Producer文件，其中，brokerpid的值是独一无二的数字值。几个核心属性如下：
# The id of the broker.This must be set to a unique integer for each broke...
分类：
其他好文 时间：
2014-08-29 11:05:47
阅读次数：
293
编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
