1.Storm是什么:Storm简单来说，就是分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。2.Storm的主要特点：1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。2.可以使用各种编程语..
分类：
其他好文 时间：
2014-09-29 20:00:11
阅读次数：
225
本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的，公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手，对比现有计算框架和业界正在开展的项目，分析分析这件事的表面和背后深层的含义，以及可想象空间。...
分类：
其他好文 时间：
2014-09-26 19:59:38
阅读次数：
220
storm与kafka单机功能整合很顺利，但是到了storm集群环境和数据处理性能时则出现了一些问题，现将测试过程和问题简单记录如下： ? ? 性能指标：每分钟处理至少100万的信息（csv格式，100bytes左右），信息...
分类：
其他好文 时间：
2014-09-26 12:59:39
阅读次数：
228
Storm Cluster安装 ================ @[安装|storm] [官方文档：设置storm cluster](http://storm.incubator.apache.org/documentation/Setting-up-a-Storm-cluster.html) ####1. 上传storm安装包到服务器 - 在1...
分类：
其他好文 时间：
2014-09-26 11:34:49
阅读次数：
199
http://www.infoq.com/cn/news/2014/09/admaster-hadoop卢亿雷是现任AdMaster技术副总裁，曾在联想研究院、百度基础架构部、Carbonite China工作，关注高可靠、高可用、高扩展、高性能系统服务，以及Hadoop/HBase/Storm/S...
分类：
编程语言 时间：
2014-09-25 20:31:17
阅读次数：
325
参考《CentOS6.4下Storm0.9.2单机版安装》的步骤在ubuntu上安装storm，中间遇到一些问题记录一下。参考文章链接：http://blog.csdn.net/qiyating0808/article/details/36041299我的linux环境：ubuntu-10.04.4-desktop-i386一，安装zeromq、jzmq及zookeeper时比较顺利，略过。ze..
分类：
其他好文 时间：
2014-09-25 13:37:19
阅读次数：
274
supervisor是storm集群重要组成部分，supervisor主要负责管理各个"工作节点"。supervisor与zookeeper进行通信，通过zookeeper的"watch机制"可以感知到是否有新的任务需要认领或哪些任务被重新分配。我们可以通用执行bin/storm superviso...
分类：
其他好文 时间：
2014-09-24 23:03:27
阅读次数：
383
Next,packagethesourceintoajar,whichissentwhenyouruntheStormClientcommandtosubmitthetopology.BecauseyouusedMaven,theonlythingyouneedtodoisgotothesourcefolderandrunthefollowing:mvnpackageOnceyouhavethegeneratedjar,usethestormjarcommandtosubmitthetopology(yous..
分类：
其他好文 时间：
2014-09-24 18:31:28
阅读次数：
191
今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有killtopology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个actiondisable掉。有两种方法：1.前端增加nginx，做location分析ui页面，对应kill的but..
分类：
其他好文 时间：
2014-09-24 04:41:26
阅读次数：
212
