alibaba/jstormJStorm 是一个分布式实时计算引擎。JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个worker 发生意外...
分类：
Web程序 时间：
2014-09-29 13:56:41
阅读次数：
273
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2014-09-29 11:14:57
阅读次数：
283
Getting Started ? 入门 1.1 Introduction ? 简介 ?? Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, ?but with a unique d...
分类：
其他好文 时间：
2014-09-28 20:10:56
阅读次数：
450
storm与kafka单机功能整合很顺利，但是到了storm集群环境和数据处理性能时则出现了一些问题，现将测试过程和问题简单记录如下： ? ? 性能指标：每分钟处理至少100万的信息（csv格式，100bytes左右），信息...
分类：
其他好文 时间：
2014-09-26 12:59:39
阅读次数：
228
总结：
???1.kafka?中可以分步不同的组，消息可以被不同组里面的消费者多次消费
???2.?观察zookeeper中kafka中的信息：
[zk:?air00:2181(CONNECTED)?8]?ls?/
[consumers,?config,?controller,?adm...
分类：
其他好文 时间：
2014-09-25 16:08:39
阅读次数：
209
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临例如以下几个挑战：怎样收集这些巨大的信息怎样分析它 怎样及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）...
分类：
其他好文 时间：
2014-09-23 14:04:14
阅读次数：
295
KafkaOffsetMonitor是不错的kafka监控的web工具，官方提供的版本需要在线下载js和css，其中angulajs的下载不了，在不联网的内部环境下不能正常使用，所以本人将其所有到的js和css单独下载整到当前这个jar包中，下载在内部环境可以直接使用...
分类：
Web程序 时间：
2014-09-21 11:38:20
阅读次数：
265
# consumer offset commit 使用kafka的python api时遇到了offset回滚的问题，因为最初使用了autocommit参数，发现有时会重复取记录，发现autocommit是批量提交，并且有offset回滚的问题，具体原因未发现，解决方法...
分类：
其他好文 时间：
2014-09-21 02:23:20
阅读次数：
439
目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错解决方案:1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.62. 编译打包成功后, 进入当前kafka目录的 ...
分类：
编程语言 时间：
2014-09-14 22:06:27
阅读次数：
1889
通常而言我们的kafka的配置如下所示： broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=1...
分类：
其他好文 时间：
2014-09-12 17:29:24
阅读次数：
215
