转载请注明出处:
源地址:http://storm.apache.org/documentation/Concepts.html
本文介绍了storm的主要概念,并且给出相关链接供你查看更多信息。本文讨论的概念如下所示:
1、Topologies
2、Streams
3、Spouts
4、Bolts
5、Stream Grouping
6、Reliability
7、Tas...
分类:
其他好文 时间:
2014-11-27 16:27:12
阅读次数:
229
转载请注明出处:
源地址:http://storm.apache.org/documentation/Configuration.html
storm由丰富的configure选项, 用来调整nibus、supervisor、以及运行时topologies的行为。某些配置选项是系统配置,例如topology基础配置,修改某个topology的这些选项有可能影响到所有topologies,...
分类:
其他好文 时间:
2014-11-27 16:15:52
阅读次数:
454
源地址:http://storm.apache.org/documentation/Documentation.html
storm基础知识
l Javadoc
l
概念
l
配置
l
保证消息处理机制
l
容错性能
l
命令行客户端
l
理解storm topology并行机制
l FAQ
trident
对stor...
分类:
其他好文 时间:
2014-11-27 12:50:35
阅读次数:
154
源地址:http://storm.apache.org/documentation/Creating-a-new-Storm-project.html
本文主要介绍如何配置开发的storm项目。步骤如下:
1、将storm jar包加到classpath中
2、如果使用多语言特性,将多语言实现的目录加到classpath中
下面跟着一块看一下在Eclipse环境中如何配置sto...
分类:
其他好文 时间:
2014-11-27 10:45:35
阅读次数:
213
分类:大数据接触这块将近3个月左右,期间给自己的定位也是业务层开发。对平台级的产品没有太深入的理解和研究,所以也不能大谈特谈什么storm架构之类的了。说说业务中碰到流式计算问题吧:1.还是要介绍下简要的架构(原谅我不会画图)流式数据接入层------------------->流式数据处理层---...
分类:
其他好文 时间:
2014-11-26 20:47:03
阅读次数:
253
转载请注明出处:
源地址:http://storm.apache.org/documentation/Setting-up-development-environment.html
本文大体介绍了如何搭建Storm开发环境。总的来说,步骤如下:
1、下载storm release版本。解压缩,然后将解压缩版本的/bin目录放在你的环境变量PATH中。
2、远程集群上top...
分类:
其他好文 时间:
2014-11-26 18:58:24
阅读次数:
135
storm transactionstorm的事务主要用于对数据准确性要求非常高的环境中,尤其是在计算交易金额或笔数,数据库同步的场景中。storm 事务逻辑是挺复杂的,而且坦白讲,代码写的挺烂的。 JStorm下一步将重新设计基于Meta 1 和Meta3 的事务模型,让使用者更简便,代码更清晰。...
分类:
其他好文 时间:
2014-11-26 01:19:39
阅读次数:
323
在实际的项目中,需要storm从metaq中读取数据,一开始就有日志问题,查到是storm/lib中的log4j-over-slf4j和slf4j-api.jar包的不兼容导致的,这些日志包使用时必须版本一致,只有又产生了java.lang.IncompatibleClassChangeError:...
分类:
Web程序 时间:
2014-11-24 18:52:08
阅读次数:
360
storm因机器断电或其他异常导致的supervisor意外终止,再次启动时报错: 1. 2013-09-24 09:15:44,361 INFO [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting superviso...
分类:
编程语言 时间:
2014-11-24 17:02:46
阅读次数:
169