在配置一个Storm环境之前，首先需要一个Linux操作系统。常见的linux系统有CentOS、Red Hat、Ubuntu等，我使用的是Ubuntu 14.04。系统尽量是最新的，对于旧版本的ubuntu，软件源支持不太好，apt-get install会发生错误 总的来说，storm安装...
分类：
其他好文 时间：
2014-12-02 23:55:23
阅读次数：
236
我们知道Storm有一个很重要的特性，那就是Storm API能够保证它的一个Tuple能够被完全处理，这一点尤为重要，下面就给大家介绍一下storm中的可靠性。
1.Spout的可靠性保证
在Storm中，消息处理可靠性从Spout开始。为了保证数据能正确的被处理, 对于spout产生的每一个tuple,storm都能进行跟踪, 这里面涉及到ack/fail的处理, 如果一个tup...
分类：
其他好文 时间：
2014-12-02 20:56:26
阅读次数：
384
源地址：http://storm.apache.org/documentation/Fault-tolerance.html
本文主要介绍Storm作为容错系统的设计细节。
当worker死掉时会发生什么？
当worker死掉时， supervisor将重启它。 如果worker启动总是失败，则worker就不能发送心跳消息给Nimbus， 那Nimbus就会...
分类：
其他好文 时间：
2014-11-29 00:18:19
阅读次数：
175
转载请注明出处：
源地址：http://storm.apache.org/documentation/Guaranteeing-message-processing.html
Storm保证：每条离开spout的消息都可以得到"fullyprocessed"。本文描述了storm如何实现这种保证以及你如何能够从Storm这种可靠性能力中受益。
"fully proce...
分类：
其他好文 时间：
2014-11-28 16:20:03
阅读次数：
273
线上部分实时job是用storm开发的，为了监控数据的延迟，在storm处理日志的时候会把日志的时间插入到redis中，然后通过zabbix做延迟的监控。由于经常有新的job上线，手动配置监控项就变得比较麻烦，为了解放生产力，还是需要搞成自动化。之前添加网卡和分区监控的时候用了LLD的..
分类：
其他好文 时间：
2014-11-28 06:26:22
阅读次数：
298
转载请注明出处：
源地址：http://storm.apache.org/documentation/Concepts.html
本文介绍了storm的主要概念，并且给出相关链接供你查看更多信息。本文讨论的概念如下所示：
1、Topologies
2、Streams
3、Spouts
4、Bolts
5、Stream Grouping
6、Reliability
7、Tas...
分类：
其他好文 时间：
2014-11-27 16:27:12
阅读次数：
229
转载请注明出处：
源地址：http://storm.apache.org/documentation/Configuration.html
storm由丰富的configure选项， 用来调整nibus、supervisor、以及运行时topologies的行为。某些配置选项是系统配置，例如topology基础配置，修改某个topology的这些选项有可能影响到所有topologies，...
分类：
其他好文 时间：
2014-11-27 16:15:52
阅读次数：
454
源地址：http://storm.apache.org/documentation/Documentation.html
storm基础知识
l Javadoc
l
概念
l
配置
l
保证消息处理机制
l
容错性能
l
命令行客户端
l
理解storm topology并行机制
l FAQ
trident
对stor...
分类：
其他好文 时间：
2014-11-27 12:50:35
阅读次数：
154
源地址：http://storm.apache.org/documentation/Creating-a-new-Storm-project.html
本文主要介绍如何配置开发的storm项目。步骤如下：
1、将storm jar包加到classpath中
2、如果使用多语言特性，将多语言实现的目录加到classpath中
下面跟着一块看一下在Eclipse环境中如何配置sto...
分类：
其他好文 时间：
2014-11-27 10:45:35
阅读次数：
213
分类：大数据接触这块将近3个月左右，期间给自己的定位也是业务层开发。对平台级的产品没有太深入的理解和研究，所以也不能大谈特谈什么storm架构之类的了。说说业务中碰到流式计算问题吧：1.还是要介绍下简要的架构(原谅我不会画图)流式数据接入层------------------->流式数据处理层---...
分类：
其他好文 时间：
2014-11-26 20:47:03
阅读次数：
253
