Apache storm 是一个由twitter开源的大数据处理系统，与其他系统不同的是，storm旨在用于分布式实时处理并且与语言无关。笔者所认知的storm使用场景诸 如 实时日志分析、网站用户行为实时分析、实时计算等，目前很多公司也都把storm作为自己的大数据架构的一部分，来实现一些实时业务...
分类：
Web程序 时间：
2015-01-14 14:10:42
阅读次数：
207
如要监控Storm集群和运行在其上的Topology，该如何做呢？
Storm已经为你考虑到了，Storm支持Thrift的C/S架构，在部署Nimbus组件的机器上启动一个Thrift Server进程来提供服务，我们可以通过编写一个Thrift Client来请求Thrift Server，来获取你想得到的集群和Topology的相关数据，来接入监控平台，如Zabbix等，我目前使用的就...
典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
原文地址：http://storm.apache.org/documentation/Common-patterns.html
此文档有许明明的翻译：http://xumingming.sinaapp.com/189/twitter-storm-storm%E7%9A%84%E4%B8%80%E4%BA%9B%E5%B8%B8%E8%A7%81%E6%A8%A1%E5%BC%8F/
但...
分类：
其他好文 时间：
2015-01-13 17:49:27
阅读次数：
201
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
不要把第三方jar包放到容器的lib中，把容器不提供的第三方jar打包到项目中，容器提供的jar就不打包到jar包中。项目运行时，会先检测项目本身打入的jar包，然后再去容器的lib下面寻找jar包。 为什么不建议把第三方...
分类：
编程语言 时间：
2015-01-08 20:17:56
阅读次数：
354
该项目分析了目前主流分布式通讯相关开源产品中使用的No Schema序列化产品Kryo，Fastjson，Hessian的序列化机制，通过构造相对比较复杂的数据model，针对序列化size，序列化时间进行了细致测试。通过测试报告可以清晰的看出Kryo无疑是大赢家，无论是序列化大小，还是速度上都更胜一筹，这也就不难理解为什么Spark,Storm等流计算框架会选它作为序列化工具。另外，可以看出这三款软件在BitSet，EnumSet等特殊类型的序列化上还有不少问题，作者也给Kryo，Fastjson社区提了...
分类：
其他好文 时间：
2015-01-07 18:49:57
阅读次数：
151
Storm Trident的核心数据模型是一批一批被处理的“流”，“流”在集群的分区在集群的节点上，对“流”的操作也是并行的在每个分区上进行。Trident有五种对“流”的操作：1.不需要网络传输的本地批次运算2.需要网络传输的“重分布”操作，不改变数据的内容3.聚合操作，网络传输是该操作的一部分4...
分类：
其他好文 时间：
2015-01-07 16:32:30
阅读次数：
304
对于No output fields defined for component:stream XxxBolt:null异常代码调用堆栈的分析过程...
分类：
其他好文 时间：
2015-01-07 13:14:40
阅读次数：
1336
Storm保证每跳离开spout的消息都会被完全处理。本文介绍Storm是怎么保证每条消息都被完全处理并且作为用户该怎么做才能从Storm的可靠性保证受益。1、什么叫消息被完全处理？ 一个tuple从spout出发可以触发成千上万个tuples基于它。 一个tuple被认为处理失败了，如果它的消.....
分类：
其他好文 时间：
2015-01-06 17:19:16
阅读次数：
117
