Storm 调优是非常重要的, 仅次于写出正确的代码, 好在Storm官网上有关于worker executors tasks的介绍,http://storm.incubator.apache.org/documentation/Understanding-the-parallelism-of-a-...
分类：
其他好文 时间：
2014-10-20 11:33:32
阅读次数：
254
Storm应用场景Twitter列举了Storm的三大类应用：1.信息流处理{Streamprocessing}Storm可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。2.连续计算{Continuouscomputation}Storm可进行连续查询并把结果即时反馈给客户端。比如把Twit...
分类：
其他好文 时间：
2014-10-19 18:36:50
阅读次数：
292
创建maven项目，在pom.xml中加入以下配置： org.apache.storm storm-core jar 0.9.3-rc1 创建SimpleSpout类用于获取数据流： 1 p...
分类：
其他好文 时间：
2014-10-17 15:08:08
阅读次数：
263
本篇文章主要介绍storm的关键概念！（翻译摘取至徐明明博客）This page lists the main concepts of Storm and links to resources where you can find more information. The concepts dis...
分类：
其他好文 时间：
2014-10-12 23:35:39
阅读次数：
417
使用的Storm版本是0.9.2,在运行一段时间后(时间不定，最快几十分钟)，某个worker会报如下异常java.lang.RuntimeException:java.lang.RuntimeException:java.io.OptionalDataException
atbacktype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:128)~[s..
分类：
其他好文 时间：
2014-10-11 16:30:17
阅读次数：
349
过程,Spout 发送msgid 1-10一级Bolt， msgid1的tuple做为基本组合tuple, 其他8个和一组合, 然后发送给二级Bolt， 同时单个msgid对应的tuple都ack一次，msgid1对象tuple, acker将会跟踪8个二级bolt处理情况.二级Bolt，发送ack...
分类：
其他好文 时间：
2014-10-03 23:48:05
阅读次数：
503
看过一些别人写的， 感觉有些东西没太说清楚，个人主要以源代码跟踪，参考个人理解讲述，有错误请指正。1基本名词1.1 Tuple: 消息传递的基本单位。很多文章中介绍都是这么说的， 个人觉得应该更详细一点。在spout发送的时候，函数原型 public List emit(List tuple, Ob...
分类：
其他好文 时间：
2014-10-03 14:18:44
阅读次数：
232
问题导读：1.storm产生的条件是什么？2.storm的什么特性，使其成为不可替代？3.storm用什么来完成工作Topology？4.storm容错的原理是什么？场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。...
分类：
其他好文 时间：
2014-10-03 13:29:04
阅读次数：
311
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，...
分类：
其他好文 时间：
2014-10-01 17:02:51
阅读次数：
360
配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.modeStorm集...
分类：
其他好文 时间：
2014-10-01 16:31:11
阅读次数：
266
