关于Storm的高可用,有以下几个方面: (1)数据利用阶段可以通过ACK机制保证数据被处理; (2)在进程级别,worker失效,supervisor会自动重启worker线程; (3)在组件级别,supervisor节点失效,会在其他节点重启该supervisor任务; 但是一个很大...
分类:
其他好文 时间:
2015-04-03 12:55:20
阅读次数:
198
来自阿里的流处理框架:JStorm 关于流处理框架,在先前的文章汇总已经介绍过Strom,今天学习的是来自阿里的的流处理框架JStorm。简单的概述JStorm就是:JStorm 比Storm更稳定,更强大,更快,Storm上跑的程序,一行代码不变可以运行在JStorm上。直白的讲JStorm是阿....
分类:
Web程序 时间:
2015-04-03 12:51:23
阅读次数:
176
大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。我们可以带着下面问题来阅读本文章:.....
分类:
其他好文 时间:
2015-04-02 22:20:20
阅读次数:
201
Storm分布式实时流计算框架相关技术总结 Storm作为一个开源的分布式实时流计算框架,其内部实现使用了一些常用的技术,这里是对这些技术及其在Storm中作用的概括介绍。以此为基础,后续再深入了解Storm的内部实现细节。1. Zookeeper集群 Zookeeper是一个针对大型分布式系统.....
分类:
其他好文 时间:
2015-04-02 18:21:15
阅读次数:
117
徐明明博客:Twitter Storm源代码分析之ZooKeeper中的目录结构 我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面,nimbus通过在zookeeper上面写状态信息来分配任务,supervisor,task通过从zookeeper中读状态来领取任....
分类:
其他好文 时间:
2015-04-02 16:20:44
阅读次数:
178
storm源码分析之任务分配--task assignment
分类:
其他好文 时间:
2015-04-02 13:08:21
阅读次数:
164
Storm UI ——本文主要解释下storm ui上各项属性的含义。通过http://UI_Server:8080可以打开Storm Web UI看看Storm集群的状态。1. mainpage 首页主要分为3块: a. Cluster Summary version:stor...
分类:
其他好文 时间:
2015-03-31 21:53:35
阅读次数:
337
Storm on YARN: Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁。它将Storm事件处理平台与YARN(Yet Another Resource Negotiator)应用管理框架进行了组合,为此前进行批处理的Hadoop应用提供了低延迟的处理能力。诞生背景(....
分类:
其他好文 时间:
2015-03-31 19:33:28
阅读次数:
190
Storm与Spark:谁才是我们的实时处理利器 ——实时商务智能目前已经逐步迈入主流,而Storm与Spark开源项目的支持无疑在其中起到了显著的推动作用。那么问题来了:实时处理到底哪家强? 实时商务智能这一构想早已算不得什么新生事物(早在2006年维基百科中就出现了关于这一概念的页面)。然而.....
分类:
其他好文 时间:
2015-03-31 17:32:29
阅读次数:
123